El convento de la Concepción de Vejer de la Frontera, en la provincia de Cádiz fue fundado en 1552, por D. Juan de Amaya «El Viejo» y su mujer Dª Beatriz de Villavicencio, con el objetivo de establecer aquí, su panteón familiar.

En origen fue ocupado por frailes franciscanos de la Observancia. Poco antes del fallecimiento del fundador, después de ciertas diferencias entre éste y los frailes, el convento es abandonado por la primitiva comunidad franciscana.

Y ya en 1584, después del fallecimiento del fundador, se acuerda que el convento sea ocupado por monjas concepcionistas.

El convento cesa su actividad en 1835, como consecuencia de las leyes desamortizadoras.

Tras la exclaustración, en 1870 fue vendido y en 1930 se derriba parte de su cubierta por el peligro de desplome, así como la espadaña que daba a la calle Ramón y Cajal.

El edificio que había sido adquirido por Pastora Castrillón, fue donado al pueblo de Vejer por Dª Luisa Castrillón Ortega, ya en 1996.

Con posterioridad se lleva a cabo una restauración del edificio, previa excavación arqueológica y luego funcionará como Centro Municipal, dedicado a actividades culturales.