Il castello di Graffignano, divenuto possedimento di Viterbo, nel XIV dovette condividere le sorti belliche di quel potente comune, che per motivi territoriali, si oppose alla città di Orvieto. I secoli XV e XVI sono caratterizzati da continue dispute territoriali interne alla famiglia, concluse con l’intervento di Papa Adriano VI (1522 – 1523) che confiscò il feudo. Nel 1531 i possedimenti vengono restituiti dal Pontefice Clemente VII, tant’è vero che nel 1546 si risolse la contesa con la comunità di Civitella d’Agliano, per il territorio di confine ancora oggi chiamato “ La Litigata”.
Il territorio del comune di Graffignano si trova per la maggior parte sopra un altopiano che domina la valle del fiume Tevere ad una altezza compresa tra i 170 e i 400 metri slm in un territorio ricco di boschi ancora incontaminati, in cui abbondano flora e fauna. Il Borgo antico originario si sviluppa sopra la sommità di una piccola rupe e comprende il Castello Baglioni ed il cosiddetto Di Dentro.
Tale antico complesso corrisponde allo schema tipico dei centri abitati medievali italiani che sorgevano, normalmente, intorno ad un Castello, tanto è vero che si parla di incastellamento proprio per significare che il Castello forma un corpo unico con le abitazioni, gli stabilimenti, i ricoveri, le chiese. Di solito, tali castelli erano edificati sopra precedenti insediamenti romani non abbandonati neppure in età barbarica.
