Prima del XII secolo i dati circa l’ubicazione e le caratteristiche della residenza dei signori di Fondi sono quasi inesistenti. Sappiamo, infatti, che dal 984 al 1140 un ramo della famiglia dei duchi di Gaeta governò senza interruzioni il “ducato” autonomo di Fondi, ma non è possibile per ora accertare dove abitavano i duchi o consoli fondani. Dopo il 1140 i dell’Aquila, signori normanni investiti della contea di Fondi, eressero un torrione quadrangolare con funzioni residenza-fortezza, ma di un vero e proprio palatium signorile in questa città si può parlare solo con l’avvento del conte Roffredo Caetani nel 1299. 

La dimora comitale viene alla ribalta europea sotto Onorato I Caetani, il quale proprio lì ospita il conclave che nel 1378 elegge il pontefice Clemente VII, dando inizio allo scisma d’Occidente; e per circa un anno quelle stanze fungono da palatium papale, sede dell’antipapa e della sua curia.