A terület ókori kezdeteiről a korai császárkorból származó épületmaradványok tanúskodnak, amelyek a későbbi, középkori és kora újkori települések nyomaival keverednek. A források azonban a kora középkorig szűkösek. A birtokról csak annyit tudni, hogy 1115-ben kolostorként a subiacói bencés apátsághoz tartozott, majd a 12. században a colonnai nemesek tulajdonába került. Ezt követően 1599-ig nincsenek megbízható források. A jelenlegi régi épület a 16. században épülhetett.

1599-ben a Sordi család eladta a villát De Vadisnak, aki hamarosan nagy adósságba került, és 1644-ben eladta San Pastore-t a San Sisto dominikánus kolostornak, ahonnan 20 évvel később előbb a dominikánus generálisnak, majd a dominikánus generális kúriának adta át. Ebben az időszakban olajfákat ültettek és olajsajtolót építettek.

Jelenlegi formájában a villát a késő barokk főlépcsőház és a mögötte lévő reprezentatív helyiségek, de mindenekelőtt az 1759 körül épült templom jellemzi. A templom formája egy központi épület, amelynek négy keresztkarja a kupolaterületről indul. A stukkódíszítés különböző utalásokat tartalmaz a domonkos rendre, akárcsak a főoltár és a jobb oldali mellékoltár, míg a bal oldali oltáron a helyi szent, Pastor ereklyéi találhatók, akit az első századba sorolnak.
1809-ben a dominikánusokat kisajátították, San Pastore nyilvánvalóan a napóleoni Radet tábornokhoz, később Guiseppe Origo Marchese-hez, végül pedig egy Ferri nevű frascati kereskedőhöz került, akitől P. August Delacroix SJ, a Germanicum et Hungaricum akkori rektora 1845. szeptember 27-én megvásárolta az egész birtokot.

Különböző építési intézkedések következtek: Először a refektórium épült. (jelenleg Sieger Köder kortárs művész két művének ad otthont: egy Szűz Mária-ábrázolásnak és a jól ismert “Bűnösök vacsorája” című alkotásnak). Ezt követte a központi szárny, amelyet később egy emelettel és egy toronnyal bővítettek. 1928-ban adták át az új négyemeletes épületet, amelyet 2019-ben lebontottak, és helyére egy új, lelkigyakorlatok, konferenciák és nyaralások céljára szolgáló épület, a Casa Manresa épült.

1939 és 1945 között a Villa San Pastore különböző háborús károkat szenvedett, katonáknak és szükség esetén menekülteknek adott otthont, valamint katonai kórházként működött.

A második világháború után San Pastore-ban, főleg a nyári hónapokban a növendékek laktak, mivel az – akkor még – hét évnyi tanulás alatt csak kétszer lehetett otthon nyaralni. Abban az időben két bérlőcsalád érkezett San Pastore-ba, hogy megműveljék a földet.

Ma a gazdaságot saját maga kezeli, és a villát a kollégium diákjai is használják a tanév során kikapcsolódásra, elvonulásra és különböző rendezvényekre.