Los dominicos son llevados a Albarracín por el obispo Pedro Jaime entre los años 1597 y 1601. Para el asentamiento de los frailes el obispo cederá en 1599 la iglesia de Santa María, la más antigua de Albarracín y de origen mozárabe. Los dominicos pidieron al monarca Felipe III que les fuera cedida la Torre Blanca, un antiguo torreón bajo medieval. Ante esta petición, el rey escribe desde Valladolid el 27 de julio de 1600 e insta al procurador general y a los regidores a que cedan la torre a los frailes. El 24 de septiembre se realiza la toma de posesión de la torre.

Con la torre anexionada, comienza la construcción del convento en el año 1601, con el maestro Alonso de Barrio Dajo al frente. Las obras se prolongaron en el tiempo, acometiéndose la construcción de los claustros entre los años 1613 y 1725. Para costearlas contaron con la ayuda económica del obispo Navarro y Gilaberte. Una vez terminadas las obras del claustro, comenzaron las obras que adecuarían el torreón para convertirlo en biblioteca, éstas obras terminaron en 1728.

La vida del convento llegó a su fin en 1835, cuando fueron aplicados los decretos de exclaustración que suprimían el convento definitivamente.