El convento de Nuestra Señora de los Cinco Altares fue fundado por Sancha de Rojas, mujer de Gómez Manrique, adelantado mayor de Castilla, y por su hermano Lope de Rojas. La fundación fue autorizada por una bula de Martín V de 14 de junio de 1418 y fue el abad del monasterio de Santa María de Obaranes el encargado de llevar a cabo las conversaciones con el obispo Burgos. Inicialmente el convento fue cedido a la orden de San Jerónimo y como dotación se cedió la iglesia de Santa María de los Cinco Altares, de la que eran patronos los hermanos Rojas, un palacio, una huerta y una renta de 3.000 maravedíes que poseía Sancha Rojas por juro de heredad. Los frailes de la orden de San Jerónimo abandonaron el convento por causas desconocidas, por lo que éste fue cedido a los dominicos mediante una escritura de 10 de febrero de 1435.

La economía del convento dependió mucho de los beneficios que obtuvieron de las familias poderosas de Rojas. Así, el 18 de septiembre de 1490 recibieron los dominicos 1500 maravedíes del testamento de Catalina de Castilla, también el 6 de noviembre de 1648 firmaron una escritura de concordia y convenio con el condestable de la ciudad para repartirse los arrendamientos de unas heredades. Nuestra Señora de los Cinco Altares cerró sus puertas en el año 1835, al serle aplicados los decretos de exclaustración del mismo año que suprimieron la práctica totalidad de conventos masculinos españoles. Posteriormente el edificio fue adquirido mediante compra por la condesa del Val.