Il Castello Odescalchi si erge in un luogo già noto nell’antichità per le sue caratteristiche strategiche, paesaggistiche e naturali. Per gli etruschi la rada era uno scalo delle merci provenienti da Cartagine, in seguito i romani vi si insediarono dandole il nome di Punicum e vi edificarono una lussuosa villa marittima appartenuta al grande giureconsulto Ulpiano.
Dopo la caduta dell’Impero Romano fu eretta l’imponente torre normanna (XII secolo), tuttora esistente, allo scopo di proteggere il litorale dalle incursioni piratesche. Nel 1567, con editto di Pio V, essa fu inglobata in un sistema difensivo più ampio che prevedeva torri analoghe sul litorale tirrenico da Terracina a Porto Ercole.
Alla fine del XVI secolo, la torre d’avvistamento fu circondata da alte mura di recinzione collegate da torrette circolari assumendo così l’aspetto di un vero e proprio Castello. Sotto il pontificato di Urbano VIII il Castello entrò in possesso della famiglia Barberini che lo ampliò con un robusto e confortevole palazzo. Nel 1773 il Castello e la tenuta circostante passarono all’Ospedale di Santo Spirito e da quest’ultimo furono acquistati nel 1887 dal principe Baldassarre Odescalchi, avo degli attuali proprietari.
All’interno della corte del Castello si ammira la piccola chiesa privata voluta nel 1692 dai Barberini. La cappella, dedicata a Santa Marina, è adornata da una preziosa ceramica invetriata bianca e azzurra, dove appare una rara raffigurazione della santa che ha dato il nome alla cittadina.