La provincia carmelita de la baja Andalucía, conocida como la de San Juan de la Cruz, llevaba tiempo intentando fundar en la provincia un convento en un desierto en el que los frailes pudieran ejercer el modo de vida eremita que se estipulaba en la regla de su orden. Los primeros intentas fueron el convento de San Juan Bautista de Trasierra, cercano a Córdoba y después San José del Valle, entre Arcos y Medina, pero ninguna de las dos casas logró cuajar y ofrecer ese modo de vida eremita que se demandaba. Finalmente los superiores de la provincia escogieron un lugar conocido como la Garganta del Cuervo, perteneciente a Medina Sidonia.

Tras varias conversaciones con el concejo de Medina Sidonia, se otorgó la donación el 15 de octubre de 1715. Donando todo el terreno que vertía sus aguas en la garganta. El terreno tenía una extensión de 610 fanegas de tierra. Pronto comenzaron las obras, pero hasta 1770 no existían las condiciones para desarrollar la vida conventual. Durante el s.XIX él convento atravesó una decadencia que terminaría con el cierre de sus puertas. Durante la Guerra de la Independencia, no sufrieron saqueos de las tropas francesas, pero el descenso de la población y los ataques a otros conventos derivaron en una escasez de vocaciones.

En 1820, durante el Trienio Liberal, se promulgó la Ley sobre monasterios y conventos por la que se exigía el cierre de los conventos con menos de 24 religiosos. El definitorio de la baja Andalucía se reunió el 7 de octubre y determinó que el convento de San José debía cerrar sus puertas al tener menos de 12 religiosos. Finalmente no se ejecutó el cierre al ser restituido el poder a Fernando VII, pero en 1835 la exclaustración decretada por Mendizábal se llevó a cabo llevando la vida del convento a su fin.