El origen del convento hay que buscarlo en una eremitorio, cuya iglesia dedicada a la Virgen del Pilar existía desde 1395. Ambos fueron fundados por el obispo de Ávila, Diego de Fuensalida, y donados posteriormente a los agustinos. Se estima que la fecha de fundación pudo ser 1434, aún así existe un protocolo del convento de Salamanca en el que el padre Antonio Solís menciona un breve del papa Eugenio IV, de diciembre de 1436, en el que autoriza a los agustinos a tomar posesión de las casas de Arenas donadas por el obispo de Ávila.

Grandes patrocinadores del templo fueron la familia Meneses de Talavera. Corrieron con las limosnas, y uno de sus miembros, Juan de Meneses, llegó a ocupar el cargo de Obispo de Zamora. El 6 de marzo de 1494, Juan de Meneses firma una genorosas disposiciones para el convento de Arenas. En ellas establece que su cuerpo fuera enterrado en la Capilla Mayor, para construirla dona cien mil maravedíes. También donaba varios órganos de misa y sus libros, para que formen parte de la biblioteca del convento que manda construir.

También Juana Pimentel, viuda de Álvaro de Luna (Condestable de Castilla y Gran Maestre de la Orden de Santiago), fue una gran benefactora del convento. En 1455 dóno 6000 maravedíes por su devoción a la Virgen del Pilar de Arenas. Sus hijos continuaron continuaron con las donaciones.

El convento poseía noviciado y en él se impartían clases de Gramática y Cosmografía. La decadencia del convento empieza en 1809, año que es incendiado por el ejército francés en la Guerra de la Independencia. Tardaron en volver los frailes, haciéndolo en 1826, y con sólo dos religiosos. Finalmente cierra las puertas en 1835 debido a la implantación de los decretos de excalustración de Mendizábal.