El convento de carmelitas calzados de Ávila fue fundado en 1378, siendo obispo de la ciudad Diego de las Roelas. Al establecerse la comunidad en Ávila, tomaron como templo la iglesia parroquial de San Silvestre. Pronto contaron los carmelitas con grandes donaciones que les permitieron ampliar el complejo conventual. La primera de la que se tiene constancia es la realizada el 2 de enero de 1405 por Alfonso Mexía, patrón de la iglesia de Santa María del Berrocal, que pactó con el prior del convento, fray Pedro de Sant Salvador, la dotación de unas rentas procedentes de un molino y de las casas, viñas y prados que pertenecían a la iglesia antes citada a cambia de cuatro misas semanales al abuelo y bisabuelo del Alfonso Mexía.

Otro ejemplo es la donación realizada el 18 de septiembre por Juan Fernández, clérigo beneficiado de la Iglesia de San Juan de Miguel Heles, que dona más de treinta fincas al convento a cambio a cambio de misas dedicas a rogar por sus padres. La iglesia conventual ya era antigua cuando la recibieron los carmelitas, por lo tanto, tuvo que ser reedificada. Dichas obras corrieron a cargo del capitán Juan Núñez Dávila en 1469. Las obras de la capilla mayor fueron costeadas por Diego de Villalba, comendador con el hábito de Santiago, a cambio de su enterramiento y el de su esposa y herederos en ella.

Durante los siglos XVII y XVIII el convento contó con una media de casi cuarenta religiosos en su comunidad y llegó a tener posesiones en más de 25 pueblos. Esto provocó roces con el cabildo que terminaron en pleito y que obtuvieron solución el 24 de marzo de 1628, cuando se falló a favor del convento dejándolo exento del pago de diezmos al cabildo. Una concordia de 1688, firmada entre el deán, el cabildo de Ávila y el convento, terminó de establecer el sistema de pago de diezmos que correspondería al convento.

El siglo XIX comenzó con un convento que había perdido a muchos frailes, contando con 17 religiosos en 1803, y terminó con la supresión del mismo en 1835, tras la aplicación de los decretos de exclaustración del ministro Mendizábal.