El Convento de Nuestra Señora de Gracia de Fraga fue fundado por iniciativa de Ramón Vidal, que había erigido una ermita en la huerta de la villa y en su testamento del 16 de mayo de 1375 estableció que se hiciese cargo de la misma una orden religiosa. Sus albaceas testamentarios eligieron a los agustinos para ello, y el 10 de mayo de 1378 el padre Pascasio de San Martín tomó posesión de la ermita como primer prior del convento. Las obras del edificio empezaron en 1382, pero no se terminaron hasta principios del siglo XV.

Este convento fue uno de los primeros que se adhirió a la Congregación de la Observancia, hacia 1412-1413. En 1427 se reunió aquí el Capítulo Provincial de la Congregación. Posteriormente, y por miedo a las inundaciones del río, los frailes se trasladaron a otro edificio dentro de la villa, al que también se conoció como Convento de San Agustín. En 1460 se produjo un incendio que destruyó el altar y varios ornamentos del templo.

Los frailes se dedicaban a la confesión y la predicación. El convento disponía de un maestro con licencias y un presentado de púlpito. Uno de los frailes también era vicario de las monjas de Mirambel, en Teruel. En 1834 el convento sólo contaba con seis frailes, y fue abandonado al año siguiente, cuando el gobierno decretó la supresión de todos los monasterios y conventos de religiosos con menos de 12 individuos profesos. Tanto el edificio como la iglesia han desaparecido.