Convento fundado en 1337 por Gil Martínez, Despensero Mayor del Infante Juan Manuel de Lara. Según la tradición, existe un leyenda por la que Gil Martínez invocó a la Virgen del Puerto tras encontrarse con una gran serpiente mientras paseaba cerca de la ermita, prometió que si le ayudaba abriría un convento agustino (Virgen del puerto, si me sacas de este apuro te abro un convento, con sus agustinos dentro), logrando así el favor de la virgen. Fué el segundo convento agustino fundado en la diócesis Cuenca tras el de Garci Muñoz, fundado en 1326.

A petición del fundador del convento, Gil Martínez, Alfonso XI, el 30 de junio de 1338, confirmó un privilegio concedido anteriormente por su padre, Fernando IV a los Agustinos en 1307, por el que se ratificaban los privilegios y exenciones otorgados por bula de Urbano IV firmada en Roma el 11 de junio de 1262 . Volvió a confirmarlo más tarde en Sevilla el 10 de abril de 1340. Muchas fueron las donaciones que recibió este monasterio de parte de los reyes. Algunas de ellas fueron de Pedro I, Juana I de Castilla, Felipe II o Felipe III.

En el s.XV , debido a la decadencia del convento, se unieron a la Observancia mediante la intermediación de los Reyes Católicos, que otorgan protección al prior Alonso de Morales para que lleve a cabo las reformas necesarias.

En 1835 el convento, con muy pocos frailes en ese momento, cerró debido a la ley de exclaustración, aunque en 1846 todavía seguía el proceso administrativo.