El origen del convento franciscano de Montevirgen se encuentra en una ermita situada a las afueras de Villalba de los Barros, en la que se daba culto a la imagen de Nuestra Señora de Montevirgen, encontrada según la tradición por un agricultor.

Allí se establecieron los frailes franciscanos, hasta que los habitantes de Villalba de los Barros y los duques de Feria, reclamaron que la comunidad se estableciese dentro de la ciudad. La fundación se produce en 1568, y fueron Gómez Suárez de Figueroa y Juana Dormer, duques de Feria, los que corrieron con los gastos de la edificación del convento. Tras la muerte de Gómez Suárez las obras tuvieron que pararse un tiempo, pero finalmente su hijo Lorenzo llevó a cabo la construcción.

La ermita se siguió utilizando como iglesia, pero en 1585 se produce el traslado de la imagen de Nuestra Señora de Motevirgen y del santísimo a la nueva iglesia que se estaba construyendo. El convento no tuvo una comunidad de frailes muy numerosa, en 1645 llega a tener 20 habitantes. Pero en 1820 el convento ha de cerrar sus puertas debido a la aplicación de la Ley sobre Monasterios y Conventos, ya que solamente 6 frailes habitaban en él por aquel entonces. Un decreto de 1843 autorizó a seguir usando la iglesia para dar servicios religiosos.