El convento de San Ildefonso del barrio de Camino de Ajo fue fundado por Alonso de Camino y Carrera, señor de la casa de Camino y diplomático y capitán de Felipe II en Flandes. El encargado de realizar la traza del convento fue Diego de Sisniego y la obra de cantería corrió a cargo de Pedro de Naveda y Juan de San Juan, y con la intervención de Francisco de Nantes. También es reseñable la estatua de Alonso de Camino que realizó Pedro Gómez. El monto total de la obra ascendió a 44.000 ducados, a los que hay que añadir 600 ducados de dotación para que los frailes enseñaran a leer y escribir latín.

El año 1588 fue entregado el convento a los carmelitas descalzos, pero al poco tiempo se van y toman el relevo frailes de la orden de los dominicos. Durante los dos siglos siguientes el convento vivió una gran ampliación a partir de la adquisición de propiedades y molinos. En el año 1756 construyeron una hospedería para los peregrinos que allí llegaban.

El siglo XIX supuso la extinción de la vida del convento. En 1820, durante el Trienio Liberal, sufrieron los frailes una primera exclaustración a raíz de la aplicación de la Ley sobre monasterios y conventos, tras la restitución del poder de Fernando VII, la comunidad regresó al convento en 1823 y sus bienes les fueron devueltos. Pero en 1835 se produciría el cierre definitivo tras la aplicación de los decretos de exclaustración del ministro Mendizábal.