Aunque existió un privilegio de Fernando IV a la ermita de Santa María de los Valles, liberando a los pobladores de pagar pechos al rey, no podemos decir que se tratase de los carmelitas. Según otras fuentes más fiables, la fundación del convento de carmelitas de Nuestra Señora de los Valles tuvo lugar en 1394, cuando Diego González de Avellaneda, se convirtió en el primer patrón de los carmelitas, reconstruyendo la antigua ermita para ubicar allí el convento. Dicho patronato fue continuado por su hija Beatriz de Avellaneda.

El convento contó con grandes sumas económicas debido al patronato que ejercieron los condes de Castrillo a cambio de ser enterrados en la iglesia o en la capilla mayor, lo que llevó a los carmelitas a plantearse ayudar a los conventos más pobres de la zona. Un ejemplo de una gran donación lo tenemos en el caso de Juan Delgadillo y Avellaneda, señor de Castrillo, que en 1590 dejó sus bienes y raíces a cambio de que el convento tuviese 24 frailes y que hubiera estudios de Gramática y Artes, además cedía la posesión del señoría jurisdiccional, lo que otorgaba al convento la posibilidad de elegir alcaldes, escribas etc....Debido a la gran capacidad económica del convento se llevaron a cabo ampliaciones y remodelaciones del edifico de forma casi continua.

En 1810, durante el gobierno de José I Bonaparte, los carmelitas fueron expulsados y el convento clausurado, aunque lograron regresar en 1815, ya terminada la Guerra de la Independencia. En 1835 se produjo el cierre definitivo del convento tras la aplicación de los decretos de exclaustración de Mendizábal.