El convento fue fundado en origen por Teresa de Jesus para ser ocupado por una comunidad de carmelitas descalzas. Lo hizo por petición de los Príncipes de Éboli, Ana de Mendoza y de la Cerda y Ruy Gómez, secretario de Felipe II, en el año 1569.

Desde el inicio del proyecto hubo conflictos entre las dos mujeres que lograría contener Ruy Gómez pero al fallecer él en 1573, su viuda, la Princesa de Éboli, decide ingresar en el convento como religiosa. De nuevo surgen conflictos importantes ya que la princesa no se adaptó a la vida en clausura e impedia que el resto de religiosas lo hicieran. Con restricciones por su condición de viuda, doña Ana siguió haciendo vida normal aún dentro del convento.

Teresa de Jesus llegaría a escribir a la princesa para manifestarle los problemas que su actitud generaba a la comunidad de religiosas pero sus quejas fueron ignoradas ya que la noble ejercía de su condición social y no se sentía obligada a seguir las normas de la nueva orden.

Así las cosas, el mismo año de 1573 y solo cuatro después de haber hecho la fundación, Teresa de Jesus ordena a las religiosas de San José de Pastrana que abandonen la casa dejando sola a la fundadora.

En ese momento la Princesa de Éboli abandona el convento coincidiendo con la llamada que le hace Felipe II para que deje su retiro y se haga cargo de la administración de sus posesiones y rentas. En cualquier caso, Ana de Mendoza, molesta por el desprecio que habia suspuesto el abandono del convento por parte de las religiosas carmelitas, llegaría a denunciar a Teresa de Jesus ante la Inquisición.

Pasado un sólo año, Ana de Mendoza ya esta instalada en la corte de Madrid desde donde gestiona su patrimonio del que gran parte se encuentra en Pastrana. Al haber quedado vacío el convento y teniendo en cuenta el testamento de su esposo en el que se establecía que se rezara por él en el convento del Nuestra San José, doña Ana decide hacer una nueva fundación. Entrega la casa a las franciscanas concepcionistas.

Antes de hacerlo acaba definitivamente las obras y mejora las condiciones de vida del convento ampliando las celdas y donando unas casas de su propiedad en la parte trasera para componer un huerto mayor. Les hace donaciones y les dota para asegurar la permanencia de la casa.

De este modo, en 1574 ya estan en el pueblo de Pastrana las monjas concepcionistas y al año siguiente entran en el convento. Las obras terminarían definitivamente en 1582.

La hija de la fundadora, doña Ana de Mendoza acabaría ingresando en el convento años después, en 1592, tras haber atendido y acompañado a su madre durante su encierro en el Palacio Ducal de Pastrana y tras su fallecimiento.

Desde su segunda fundación hasta la actualidad el convento siempre ha estado habitado por una comunidad de monjas concepcionistas franciscanas. En los últimos años, las monjas han vendido una parte del solar para la apertura de un restaurante que ocupa el ala oeste del edificio y se mantienen gracias a se escaso patrimonio y las donaciones.