La primera noticia sobre la fundación del convento de San Francisco en Vinaròs nos habla de la decisión del clero de la villa de fundar un convento en la ciudad. Dos años mas tarde, en 1624, en una reunión entre el ayuntamiento y el clero durante el Capítulo del clero de Vinaròs, uno de los jurados del ayuntamiento, Gisbert, expone al clero que el 29 de junio, el ayuntamiento acordó la fundación de un convento de San Francisco en la ciudad.

A la hora de fundar el convento contaron la oposición de los capuchinos, que buscaban una fundación en la misma ciudad. Los capuchinos llegaron a acudir al rey y a la reina, para pedir la derogación de un privilegio por el cual no podrían fundar a menos de tres leguas de un convento franciscano. Finalmente el apoyo de la Marquesa de Cardona y la licencia contaban desde hace años, decantaron la balanza del lado de los franciscanos que pudieron tomar posesión del convento el 14 de enero de 1643.

No obstante, el convento tendría mas problemas hasta lograr su estabilidad, ya que los agustinos se quejaron de esta fundación al Duque de Arcos, virrey de Valencia. Éste escribió cartas al Consejo de Guerra, asentado en Vinaròs y al Obispo de Tortosa, que hicieron que el obispo retirase el apoyo a los franciscanos y les aconsejase obtener el permiso del Nuncio. Tras las amenzas de desalojar el convento a la fuerza, el provincial hizo que los duques de Gandía escribieran a su hermano, el cardenal Gaspar de Borja y Velasco (hijo de San Francisco de Borja) y al Nuncio, para obtener respuesta a su problema. Finalmente el pleito termina en el Consejo de Aragón, donde hubo una sentencia favorable a los franciscanos, que se publica en Valencia en julio de 1644.

Tras un tiempo viviendo el una casa en la calle Calig, los franciscanos comienzan las construcción del nuevo asentamiento. Estando en 1650 las obras en marcha, y produciéndose la bendición de la iglesia el lunes 19 de junio de 1662. Para tal fin contaron con varios benefactores, entre los más destacados, están Guillem Noguera, comerciante dedicado a los negocios con barcos, y su mujer Isabel Navarro, que obtuvieron un enterramiento en la nueva iglesia. El propio ayuntamiento de la Villa de Vinaròs contribuyó notablemente con el convento.

Durante el siglo XVIII se produjo un conflicto entre el ayuntamiento de Vinaròs y el convento de franciscanos a raiz de la venta de carne al convento. Los franciscanos poseían un privilegio real que les liberaba de pagar los impuestos de la carne. Este privilegio no lo aplicó el ayuntamiento, por lo que los franciscanos deciden comprar los animales vivos y así sortear el precio del ayuntamiento. Como represalia el ayuntamiento no les permité asistir a las procesiones de San Sebastián, dar la predicación de la cuaresma, ni emitir el sermón en varias celebraciones religiosas. Todo ello suponía una merma importante en las arcas franciscanas, debido a la pérdida de limosnas.

El propio Felipe V, firma una provisión el 11 de agosto de 1741, por la que insta a devolver a los franciscanos todas sus antiguas funciones y a aplicar la supresión de impuestos en el precio de la carne.

En 1835, el convento cierra definitivamente sus puertas debido a la aplicación de los decretos de exclaustración de Mendizábal. Tras pasar a ser propiedad del estado, es donado de nuevo para el edificio ejerza la función de cárcel del partido.