La carta nautica di Agostino Dalorto del 1325 riporta l'attuale stemma della città come insegna della marineria gaetana. Non c'è motivo da ritenere che i colori non erano quelli attuali: rosso e bianco.

Il verde, il blu, il bianco ed il rosso erano i colori dei partiti che facevano il tifo per le corse dei cocchi allo stadio di Bisanzio. Molto probabilmente i nostri colori sono stati assunti da due di quei partiti.

Il color rosso ha sempre avuto nel passato una grande importanza e l’arte della tintura è praticata a Gaeta dalla colonia ebraica. Infatti nel documento per la creazione della finanza locale comunale (gennaio 1129) troviamo:
Vogliamo perciò e lo confermiamo con la volontà di tutto il popolo che qualunque provento derivi dall’esercizio dell’arte della tintura, praticata dagli ebrei e dall’esercizio di qualsiasi altra loro arte, sempre sia destinato al benefico della città. (Codex Diplomaticus Cajetanus, II, CCCXVII, pp 240-242).