No se conoce la fecha exacta de fundación del convento de la Concepción de Villamartín, aunque puede suponerse que tuvo lugar en el siglo XVI, ya que en la centuria siguiente (siglo XVII) se construyó la iglesia de las Angustias en el espacio que había ocupado la entonces conocida como antigua capilla del cenobio. Esta iglesia pasó a formar parte del complejo conventual desde aquel momento, siendo la única dependencia que se conserva del cenobio en la actualidad.

En 1811 este convento contaba con una comunidad de 12 monjas. Era el único cenobio femenino que existió y permaneció en la localidad. Sobrevivió a la Guerra de Independencia, subsistió ante los intentos del gobierno josefista de forzar la supresión de las congregaciones femeninas y resistió las leyes desamortizadoras sin llegar a ser suprimido.

En 1920 la Orden Franciscana decide cerrar el convento y ponerlo en venta posteriormente, debido al estado ruinoso en que se encontraba. Su comunidad de religiosas se trasladó de forma definitiva al cenobio de la Concepción del Puerto de Santa María. En su desplazamiento las religiosas llevaron consigo la imagen de la Virgen de las Angustias que custodiaban en el convento, la cual sería custodiada en el cenobio portuense hasta 1982. Ese año el entonces obispo de Jerez Rafael Bellido Caro solicita su devolución a la Orden, llevando la imagen a la cripta del Hospital de Santa Rosalía (actualmente de San Juan Grande) de Jerez.

El edificio del cenobio de la Concepción de Villamartín también logró sobrevivir a la Guerra Civil, salvándose de la quema de conventos que se produjo en otros municipios gaditanos. En 1936 la gestora municipal del Frente Popular propuso construir viviendas sociales en el recinto del convento entonces clausurado.

La iglesia de las Angustias, construida en el siglo XVII, se compone de una sola nave cubierta por bóvedas de cañón. Por lo general cuenta con una sobria decoración y una portada simple, con un arco rebajado entre sencillas pilastras que sostienen un entablamento. La espadaña lateral rompe la uniformidad de su composición, con dos cuerpos con vanos de medio punto entre pilastras y frontón triangular de remate.

En su interior, de decoración sobria, destacan el Retablo Mayor de estilo barroco y otros dos laterales. El templo alberga dos tallas procedentes de la capilla de la Virgen de los Reyes: un Nazareno y una Virgen. Además custodia la imagen que da nombre a la iglesia, que representa una Virgen Dolorosa sosteniendo en el regazo a un Cristo yacente. Esta talla fue elaborada en 1951 por Juan Bernabé Britto y fue encargada por la cofradía de Nuestra Señora de las Angustias para sustituir a la antigua talla que custodió el convento y que fue trasladada a la cripta del Hospital de Santa Rosalía (actualmente de San Juan Grande) de Jerez en 1982.