La fundación del convento de Castellar de la Frontera se sitúa en el contexto de la reforma de la Orden de Nuestra Señora de Merced, iniciada a finales del siglo XVI y finalizada en el XVII. El Convento de la Almoraima se considera, de hecho, el primer convento levantado de la Orden de los Descalzos de la Merced.

En 1603 la condesa Doña Beatriz Ramírez de Mendoza entregó unas tierras en Castellar de la Torre a un grupo de religiosos mercedarios descalzos para la fundación de un convento, conocido con el nombre de San Miguel de la Almoraima, según consta en uno de los cuadros que se conservan en el propio convento. Esa primera donación constaba de una renta de 941 reales sobre el almojarifazgo de Indias, además de distintas propiedades en Tarifa y Algeciras, que llevaron a que el convento acumulara un cuantioso patrimonio de rentas y fincas a finales del siglo XVII.

El convento es un edificio de dos plantas con forma cuadrangular. La iglesia, de planta rectangular sencilla, alberga una capilla dedicada al Santo Cristo de La Almoraima, nombre por el que también es conocido el monasterio y al que los fieles y peregrinos dedican anualmente una romería.

El convento estuvo habitado por los monjes mercedarios hasta el siglo XIX. En el año 1811, los religiosos abandonaron temporalmente el monasterio ante la presencia el ejército francés, que se encontraba estacionado cerca de Gibraltar. La marcha definitiva se produjo entre 1837 y 1840 con la desamortización emprendida por el gobierno. Los bienes fueron puestos a la venta, primero las tierras de Tarifa y Algeciras y luego las del propio convento.

El duque de Medinaceli, heredero del condado de Castellar, reclamó la propiedad sobre las tierras, que acabó obteniendo en 1861. El convento se convirtió en un pequeño palacete y desde entonces la propiedad ha tenido diferentes usos. Hoy es de titularidad estatal y está destinado al turismo.