Progettato nel 1515 da Antonio Da Sangallo come Residenza Estiva di Papa Paolo III, la sua costruzione venne completata nell'arco di soli 10 anni. Nel 1649, dopo la caduta dei Farnese, il Palazzo passò alla Santa Sede, che ne fece un convento dei Padri Filippini, che vi apportarono alcune piccole modifiche strutturali. Nel 1911 venne acquistato dal Comune di Gradoli, che lo utilizzò, negli anni, per molteplici fini: fu adibito dapprima a scuola e successivamente ad ambulatorio, sede di associazioni ed infione dal 1919 a sede del Comune medesimo. Nel 1986 e nel 1997 fu completamente ristrutturato e divenne anche sede del Museo del Costume Farnesiano, attualmente chiuso per restauri. Ospita alcune sontuose stanze i cui affreschi ricordano le origini del palazzo.