Le origini del castello Caetani, situato nel borgo medievale di Sermoneta, risalgono al XIII quando ne erano proprietari i baroni Annibaldi. La rocca già allora era caratterizzata dal Maschio, una torre alta 42 metri, e da una contro torre, detta Maschietto.
Nel 1297 Pietro Caetani, Conte di Caserta, ottenne dagli Annibaldi, per intercessione dello zio Papa Bonifacio VIII, Sermoneta, Bassiano e San Donato per la somma di 140 mila fiorini d’oro e Ninfa per 200 mila.
I Caetani nel XV secolo avviarono grandi opere di ampliamento del Castello, la collegiata di San Pietro, dove erano custodite le spoglie Caetani, venne inglobata in Piazza D’Armi e al 1470 risalgono le Camere Pinte, stanze affrescate con scene mitologiche e allegoriche.
Nel 1499 Alessandro VI Borgia con una bolla pontifica scomunicò i Caetani e si appropriò dei loro beni, privandoli di privilegi e diritti.
Il castello sotto i Borgia divenne una fortezza militare: fu rinforzata la cinta muraria, fu costruito il Rivellino, o Cittadella, e il muraglione del camminamento di ronda, fu distrutto l’ultimo piano del Maschio e raso al suolo la Chiesa di San Pietro in Corte, senza alcun rispetto per le spoglie dei Caetani ivi sepolte sin dal 1400.