Bereits in antiken römischen Zeiten war das Grundstück der heutigen Villa San Pastore bewohnt. Allerdings ist die Quellenlage bis ins frühe Mittelalter dürftig. Es ist lediglich bekannt, dass das Grundstück im Jahre 1115 als Kloster zur Benediktinerabtei Subiaco gehörte und im 12. Jahrhundert im Besitz der Adeligen von Colonna war. Danach gibt es bis 1599 keine zuverlässigen Quellen. Der heutige Altbau muss im 16. Jahrhundert entstanden sein.

Aus dem Jahr 1599 wird der Verkauf der Villa von der Familie Sordi an De Vadis berichtet, die aber schon bald in große Schulden gerieten, sodass sie San Pastore 1644 dem Dominikanerkonvent San Sisto verkauften, von wo aus der Palazzo 20 Jahre später zunächst in den Besitz des Dominikanergenerals und schließlich in die Hände der Generalkurie der Dominikaner gelangte. In dieser Zeit pflanzte man Ölbäume und legte eine Ölmühle an.

Um das Jahr 1759 herum entstand das prächtige Treppenhaus, der hübsche Vorbau und auch die Mauer rings um San Pastore. Die Kirche bekam ihre heutige Form und die entsprechende Ausschmückung.

Im Jahre 1809 wurden die Dominikaner enteignet, San Pastore ging allem Anschein nach an den napoleonischen General Radet, später an Marchese Guiseppe Origo und schließlich an einen Kaufmann von Frascati namens Ferri, von dem P. August Delacroix SJ, der damalige Rektor des Germanicums, die ganze Tenute am 27. September 1845 für 24.000 Scudi kaufte.

Es folgten verschiedene Baumaßnahmen: Zunächst wurde der Refektor gebaut, es folgte der Mitteltrakt, der später um ein Stockwerk und einen Turm erweitert wurde. 1928 wurde der vierstöckige Neubau eingeweiht und vier Jahre später eine Piscina gebaut.

Zwischen 1939 und 1945 erlitt die Villa San Pastore verschiedene Kriegsschäden, beherbergte Soldaten und möglicherweise auch Flüchtlinge und ein Lazarett.

Nach dem zweiten Weltkrieg wurde San Pastore von den Germanikern wieder hauptsächlich während der Sommermonate bewohnt, da man seine Ferien während des siebenjährigen Studiums nur zweimal in der Heimat verbringen durfte. Zur Bewirtschaftung der Ländereien kamen damals zwei Halbpächterfamilien nach San Pastore.

Heute werden die Erträge des Landes in kollegseigener Regie verwaltet und die Villa wird von den Studenten des Kollegs auch während des Studienjahres zur Erholung, für Exerzitien und verschiedene andere Veranstaltungen genutzt.