L'area dove oggi esiste il giardino degli aranci risale al cinquecento. Quella era un'area chiamata "pomerio" e doveva essere inedificabile, perché usata dall'esercito per la difesa di porta sorda, una delle cinque porte di accesso al paese. L'area del pomerio era importante per Sermoneta: in caso di ritirata l'esercito aveva la via di fuga verso il passaggio, ancora esistente, verso Piazza Santa Maria. Con la trasformazione in giardino, avvenuta nel settecento, così come avvenuto per tutti gli orti di Sermoneta, si diffuse anche l'usanza di piantare gli alberi da frutta e, in un secondo tempo, gli agrumi nel contesto storico.