En el año 1076 Alfonso VI dona al Monasterio de Santo Domingo de Silos el abrupto territorio en las Hoces del río Duratón donde, según la tradición, habían llevado vida eremítica los tres hermanos San Frutos, Santa Engracia y San Valentín al final de la época visigoda. En este eremitorio, en el que se hallaban enterrados y venerados los restos de San Frutos, los benedictinos construyeron una iglesia a partir de la ermita primitiva de finales del siglo VII, que fue consagrada en el año 1.100 por el primer arzobispo de Toledo. Desde ese momento, existió una comunidad monástica con la condición de priorato del Monasterio de Silos. A finales del siglo XII o comienzos del XIII se acometió la ampliación de la iglesia y la construcción del monasterio, que se situó en el alto de una de las hoces, cercano a la localidad de Burgomillodo, en el actual término municipal de Carrascal del Río (Segovia).

La donación de Alfonso VI comprendía el lugar exacto de San Frutos y un territorio que se extendía desde Molinilla, en la parte superior del río Duratón, hasta Neguera, en la inferior. Suponía la creación de un abadengo en el término de la comunidad de villa y tierra de Sepúlveda, cuyo fuero primitivo fue confirmado por el rey solo tres meses después de la donación de San Frutos a Silos para favorecer la repoblación del territorio tras las campañas de Almanzor. El señorío comprendía, como era usual, un término privativo y otro de dominio directo donde se reservaban ciertos usos y derechos pero se impedían otros aprovechamientos tradicionales, lo que ocasionará una larga serie de conflictos entre la ciudad y el monasterio que dará lugar a varios litigios dirimidos en la Real Chancillería de Valladolid.

En 1445 se vende el señorío de Silos a Pedro Fernández de Velasco, conde de Haro, reservándose al pontífice el nombramiento de abad y priores. En 1495 fue nombrado prior de San Frutos Esteban Portillo, y dos años después los Reyes Católicos ordenan la restitución de sus bienes y rentas, de los que se habían apoderado por las armas Antonio Molledo y Pedro Alonso, vecinos de Turégano.

San Frutos se integra de forma definitiva en la Congregación de San Benito de Valladolid por bula de Leon X de 9 de agosto de 1519, aunque anteriormente hubo algún intento de agregación por la fuerza. En fechas inmediatamente anteriores, se interpusieron dos demandas importantes por la propiedad de sus bienes en las Hoces del Duratón. La primera, contra el convento franciscano de Nuestra Señora de la Hoz, fundado en el siglo XIII al otro margen del río, que concluyó en 1510 con sentencia arbitral. La segunda, con la comunidad de la villa y tierra de Sepúlveda, que concluyó con sentencia de revista de 1518, en cuya ocasión se pintó uno de los óleos judiciales relativos a su amojonamiento.

Entre 1777-1785 fue prior de San Frutos fray Liciniano Sáez, archivero de Silos y miembro de la Real Academia de la Historia, responsable de la organización del archivo de la Cámara de Comptos de Navarra. Además de realizar obras en el edificio pagadas a su costa, promovió en 1784 la última demanda del priorato ante la Chancillería de Valladolid por la propiedad de su terreno circundante, pleito que concluyó en 1789 y al que corresponden dos croquis conservados en el Archivo de la Real Chancillería de Valladolid.

La comunidad fue siempre muy reducida y nunca gozó de prosperidad, aunque entre los siglos XVI y XVIII compró algunas pequeñas propiedades. Las reliquias de San Frutos y sus hermanos fueron trasladadas en su mayor parte a la catedral de Segovia, al ser patrón de la diócesis. Pero el lugar siguió siendo motivo de peregrinación y procesiones, principalmente en recuerdo del milagro de "La Cuchillada" que atribuye al santo haber abierto con su báculo una hendidura que impidió el paso del ejército musulmán, protegiendo a los cristianos que se habían refugiado en el entorno del eremita.

La comunidad benedictina fue exclaustrada en 1835 a raíz de la desamortización de Mendizábal y sus bienes pasaron a manos de particulares. El edificio del monasterio se arruinó, pero la iglesia permaneció en pie con categoría de parroquia hasta los años treinta del siglo XX, y actualmente mantiene el culto como ermita de San Frutos dependiente de la diócesis de Segovia.