Le origini del sito nell’antichità sono attestate dai resti di edifici del primo periodo imperiale, che si combinano con tracce di insediamenti successivi del Medioevo e della prima età moderna. Tuttavia, le fonti sono scarse fino al primo Medioevo. Si sa solo che nel 1115 la proprietà apparteneva all’Abbazia benedettina di Subiaco come monastero, e che nel XII secolo era di proprietà dei nobili Colonna. Dopo di allora, non ci sono fonti affidabili fino al 1599. L’attuale edificio antico deve essere stato costruito nel XVI secolo.

Nel 1599, la villa fu venduta dalla famiglia Sordi a De Vadis, che ben presto si indebitò e vendette San Pastore al convento domenicano di San Sisto nel 1644, da cui passò, 20 anni dopo, prima al Generale dei Domenicani e poi alla Curia Generalizia dei Domenicani. In questo periodo furono piantati gli ulivi e fu costruito un frantoio.

Nella sua forma attuale, la villa è caratterizzata dalla scala principale tardo-barocca con le sale di rappresentanza alle sue spalle, ma soprattutto dalla chiesa costruita intorno al 1759. La chiesa ha la forma di un edificio a pianta centrale con quattro bracci trasversali che partono dalla cupola. La decorazione a stucco contiene vari riferimenti all’ordine domenicano, così come l’altare principale e l’altare laterale destro, mentre l’altare laterale sinistro contiene le reliquie del santo locale, Pastore, collocato nel I secolo.

Nel 1809 i Domenicani furono espropriati, San Pastore pare sia passata al generale napoleonico Radet, poi al marchese Giuseppe Origo e infine a un mercante di Frascati di nome Ferri, dal quale il 27 settembre 1845 p. August Delacroix SJ, allora rettore del Germanico-Ungarico, acquistò l’intera proprietà.

Sono seguite diverse misure di costruzione: per prima cosa fu costruito il refettorio (che oggi ospita due opere dell’artista contemporaneo Sieger Köder: una raffigurazione della Vergine Maria e la nota “Cena dei peccatori”). A questa seguì l’ala centrale, successivamente ampliata di un piano e di una torre. Nel 1928 fu inaugurato il nuovo edificio di quattro piani, demolito nel 2019 e sostituito da un nuovo edificio per ritiri, conferenze e vacanze, la Casa Manresa.

Fra il 1939 e il 1945, Villa San Pastore subì diversi danni a causa della guerra, ospitò soldati e forse rifugiati e un ospedale militare.

Dopo la Seconda Guerra Mondiale, San Pastore era abitato dagli studenti del Collegio soprattutto durante i mesi estivi, poiché era consentito trascorrere le vacanze a casa solo due volte durante gli allora sette anni di studio. A quel tempo, due famiglie di mezzadri vennero a San Pastore per coltivare la terra.
Oggi la tenuta è autogestita e la villa è utilizzata dagli studenti del Collegio anche durante l’anno accademico per attività ricreative, ritiri e vari altri eventi.