La struttura del Castello come la conosciamo, con la pianta rettangolare e le torri angolari, si ha solo nel XIV secolo. La Torre Saracena rappresenta l’elemento più antico del complesso monumentale e la sua costruzione risale al IX secolo; ha subito diversi rifacimenti fino al XVI-XVII secolo quando ha assunto la conformazione visibile oggi. Anche la cerchia muraria ha subito nel corso dei secoli alcuni ampliamenti, testimonianza delle fasi di crescita dell’insediamento. Di particolare fattura l’ultimo anello, turrito e merlato, preceduto da un fossato.

Sotto l’attuale Casa del Nostromo, nell’adiacente Piazza della Rocca, si sviluppa un vasto cimitero di almeno 415 sepolture costruito sull’area dell’edificio romano, a partire dal IX secolo circa e presumibilmente in uso fino al XIII-XIV secolo. La Chiesa paleocristiana di Santa Severa, invece, forse in seguito a un incendio, fu abbandonata, spogliata e in parte demolita nella seconda metà del XIV secolo.

Al XV secolo risale la nascita del Borgo medievale, con le sue stradine in pietra e gli archi volanti, gli edifici e le piazze. Un luogo sospeso nel tempo: esplorando l’area, il visitatore potrà fare un vero e proprio viaggio nel passato e conoscere come si svolgesse la vita e quali fossero le attività di un tempo nel Castello. Tra queste, l’agricoltura, come testimonia la fontana circolare su due piani, sormontata da tre grosse mole di frantoio, che si può ammirare nel piazzale delle Barrozze, al centro dei caseggiati.

Dal 1482, anno della donazione da parte di Papa Sisto IV, e fino al 1980, il Castello fu di proprietà del Pio Istituto ospedaliero di Santo Spirito, il cui stemma con la doppia croce è presente in diversi punti del borgo. All’Ordine si devono molte delle opere attualmente presenti, come la Chiesa di Santa Maria Assunta e Santa Severa e il Battistero dedicato a Santa Severa e Santa Lucia. All’interno del Battistero, tra gli affreschi della fine del XV secolo, si possono ammirare dei graffiti votivi raffiguranti delle navi, opera dei marinai che transitarono nel porto di Santa Severa e che testimoniano la sua importanza come scalo marittimo.