El convento de Nuestra Señora del Rosario tiene su origen una torre templaria del siglo X que fue entregada a los agustinos, que allí construyeron su casa y una primera iglesia, que después quedó ruinosa. Más tarde, y tras quedar el convento deshabitado, los señores de la ciudad, Inés de Castro y Lanzós y Fernando Pérez Andrade, traen a los franciscanos para que funden una casa en el antiguo convento agustino. Una bula papal, de 20 de marzo de 1508, autorizaba la fundación del nuevo convento y la reconstrucción de la iglesia y casa.

Tras diez años asentados, y con las obras para la construcción del nuevo convento e iglesia iniciadas, los franciscanos abandonaron también el convento. Éste fue cedido a los dominicos que terminaron con la construcción de la iglesia y del convento, cuyo titular fue Nuestra Señora del Rosario. No fue muy buena la relación de los dominicos con los señores de San Sadurniño, así lo atestiguan los 38 pleitos entre el convento y los señores que se conservan en el Archivo del reino de Galicia.

Los dominicos de San Sadurniño permanecieron en el convento hasta que en 1835 fue suprimido debido a la aplicación de los decretos de exclaustración de ministro Mendizábal, en ese tiempo la comunidad era de tan sólo cinco frailes.