A mai San Pastore villa területe már az ókori római időben is lakott volt. Történelmi forrásaink azonban a kora középkorig meglehetősen szegényesek. Annyi azonban biztos, hogy a terület 1115-ben a Subiavo-i bencés kolostorhoz tartozott, és a 12. században a Colonna család birtokában volt. Ezután 1599-ig nincsenek megbízható források. A mai villa régebbi szárnyát valamikor a 16. században építhették.
1599-ben a Sordi család eladta a villát a De Vadis családnak, ám ők hamar adósságba keverednek, és 1644-ben kénytelenek eladni a villát a domonkos rend Sent Szixtus konventjének, akik révén 20 évvel később a komplexum a domonkos rend, végül pedig a generális kúria kezelésébe kerül. Ebben az időben ültették az olajfákat és működött egy olajsajtó is a birtokon.
1759 körül épült a díszlépcsőház, a csinos előépület és a területet körülvevő fal is. A templom ekkor kapja meg mai formáját és az ennek megfelelő díszítését.
1809-ben minden valószínűség szerint a birtokot Napóleon csapatai kisajátítják, és Radet generális kezébe, majd a Guiseppe Origo márki tulajdonába kerül, végül pedig egy frascatii kereskedő, Ferri vagyonát képzi, akitől aztán P. August Delacroix SJ, a kollégium akkori rektora vásárolja meg 1845 szeptember 27-én 24.000 scudo áron.
Ezt aztán különféle építkezési munkálatok követték. Megépült a refektórium, egy középső szárny, amit aztán kibővítettek még egy emelettel és egy toronnyal. 1928-ban készült el egy négyemeletes új szárny és egy úszómedence.
1939 és 1945 között több háborús kár is keletkezett a villa területén, laktak itt katonák és menekültek, működött katonai kórházként is.
A második világháború után újra lehetőségük volt a germanikusoknak elsősorban nyáron ide kiutazniuk, hiszen a hétéves képzési időszak alatt haza csak kétszer utaztak a diákok. A művelt területek rendben tartását két, a területen lakó család látta el.
A birtok jövedelme ma a kollégium költségvetésének részét képezi, a diákok pedig a tanév során is használhatják pihenésre, lelkigyakorlatokra, ill. egyéb programoknak is helyet biztosít terület.