Prima del XII secolo i dati circa l'ubicazione e le caratteristiche della residenza dei signori di Fondi sono quasi inesistenti. Sappiamo, infatti, che dal 984 al 1140 un ramo della famiglia dei duchi di Gaeta governò senza interruzioni il "ducato" autonomo di Fondi, ma finora non è stato possibile accertare dove abitassero i duchi o consoli fondani. Dopo il 1140 i dell'Aquila, signori normanni investiti della contea di Fondi, eressero un torrione quadrangolare con funzioni di residenza-fortezza, ma di un vero e proprio palatium signorile in questa città si può parlare solo con l'avvento del conte Roffredo Caetani nel 1299.
