Según la tradición en agosto del año 1484 la parroquia de Santa María de Alicante se incendia y la imagen de la virgen desapareció. A la mañana siguiente el pastor Gaspar Tomás encontró la imagen en las ruinas de un castillo árabe. Tras intentar trasladar la imagen, ésta desaparece y es encontrada nuevamente en las ruinas del castillo árabe. Para que la virgen pudiera ser venerada se construyó una ermita en las ruinas.

El número de devotos de la virgen que acudían a la ermita era muy alto, por lo que se autoriza la fundación de un convento franciscano, que se realiza el 16 de enero de 1578. La acción religiosa de la comunidad de frailes se limitaba en un principio a los pueblos a Agres y Alfafara, pero era tan grande la asistencia al santuario de la virgen que Sixto V, a petición de Felipe II, otorgó en 1586 una bula para pedir limosna en todos los reinos de España. La misma bula fue confirmada por Benedicto XIV en 1756.

En 1649 se llevó a cabo la construcción de un hospedaje, ya que hasta ese momento muchos peregrinos pernoctaban en el mismo convento, alterando la vida de la comunidad de frailes. En 1835 el convento ha de cerrar sus puertas debido a la exclaustración decretada por Mendizábal.