El Convento de Nuestra Señora del Carmen de Jerez de la Frontera fue fundado por el arzobispo de Sevilla, Rodrigo de Castro, el 27 de mayo de 1587. Inicialmente, estaba situado en la ermita de San Benito, pero en 1600 los frailes tuvieron que ceder su residencia a las autoridades debido a la epidemia de peste en la ciudad. Se instalaron temporalmente en la calle Tornería hasta que el 21 de julio de ese año el arzobispo de Sevilla les entregó las casas de Pedro Ximénez en la colación de San Dionisio. El edificio se terminó en el siglo XVII, pero la iglesia se derribó a principios del siglo XVIII y en su lugar se levantó un templo de nueva planta bajo la dirección de Pedro González de Aldama.

El convento se convirtió en casa de noviciado en 1602 y dispuso de una cátedra de teología desde 1633. A lo largo de la existencia del convento, el número de frailes osciló entre los 10 y los 40. El convento mantuvo varios pleitos con los mercedarios y los terciarios franciscanos, aunque acabó llegando a acuerdos con ellos en el siglo XVIII. El 9 de febrero de 1785 también llegó a un acuerdo con los capuchinos de Jerez de la Frontera para establecer servicios religiosos recíprocos.

Los frailes tuvieron que abandonar el convento durante la Guerra de la Independencia (1808-1814) y el edificio fue ocupado por un cuerpo de caballería del ejército español. Durante el Trienio Liberal (1820-1823), el convento fue suprimido por la Real Orden de 8 de mayo de 1821 sobre el arreglo de conventos de la provincia de Cádiz, en cumplimiento de la Ley sobre monasterios y conventos de 25 de octubre de 1820.

Los frailes asistieron a la población de Jerez de la Frontera durante la epidemia de cólera de 1834. El convento fue suprimido definitivamente por las autoridades de la ciudad el 19 de agosto de 1835, tras la publicación del Real Decreto de 25 de julio de ese año suprimiendo los monasterios y conventos de religiosos con menos de 12 individuos profesos. La exclaustración fue confirmada por el Real Decreto de 11 de octubre suprimiendo los monacales.