El convento de San Antonio fue fundado por Felipe Ramírez de Arellano, señor de Cameros y conde de Aguilar. Según la tradición, se encontraba a punto de morir cuando su mujer, Luisa Manríquez de Lara, rezó a San Antonio de Padua haciendo la promesa de fundar un convento si su marido se recuperaba.

El 19 de mayo de 1611 comenzó la fábrica cerca de la ermita de Nuestra Señora de Villavieja. Las obras tardaron cinco años en ser completadas, tomando los frailes posesión del convento el 30 de julio de 1617. El convento pasó a pertenecer a la provincia seráfica de Burgos y su primer guardián fue fray Juan de Torrecilla.

Los fundadores mandaron construir un suntuoso panteón en el que ser enterrados, y dotaron al convento de obras de arte como una efigio de Santo Cristo crucificado o una campana traída de Argel cuando el conde de Aguilar era gobernador de Orán.

Los decretos de exclaustración de Mendizábal de 1835 obligan al convento a cerrar sus puertas, haciéndose efectiva el cierre el 13 de junio, día de San Antonio, de 1836.