Los primeros trámites para la aprobación del asentamiento trinitario datan de octubre de 1654, en una reunión en la sala capitular del convento trinitario de Madrid. Al mes siguiente el provincial de la orden en Andalucía, Pedro de la Ascensión, ya había logrado, a pesar de la demora de un par de cabildos por parte del prelado, su aprobación, en la que los trinitarios otorgaron escritura pública comprometiéndose a pagar diezmos.

Se encontraron sin embargo, con una fuerte oposición por parte de las restantes órdenes religiosas de la ciudad, las cuales sintieron amenazadas sus limosnas, llegando a conseguir que el obispo demorase la fundación. Ante la muerte del prelado, los religiosos tomaron unas casas, propiedad de Agustín de Uceda. En posteriores remodelaciones quedó incluida una pequeña ermita aledaña.

El 8 de diciembre de 1654 colocaron el Sacramento, por lo que a la advocación de Nuestra Señora de Gracía se unió la de la Purísima Concepción.

Debido al terremoto de 1680 tuvieron que acometer reformas en el edifico las cuales terminaron en 1715, celebrándose la bendición el 20 de septiembre. Las dependencias conventuales estuvieron listas en 1723.

El 13 de enero de 1804 el convento volvió a sufrir un seísmo siendo remodelado con anterioridad a 1808.

Fue desamortizado en 1820.

En 1822 el Jefe Superior Político alojó en sus estancias al Batallón de la Milicia activa. En la sesión de la Junta de Enajenación del 4 de septiembre de 1836 se resolvió vender y demoler el edificio. En 1838 consta que en el patio tenían lugar espectáculos y actuaciones de beneficencia, hasta que fue adquirido por el filántropo José Marín García, quien en 1846 lo reedificará, contratando al maestro de obras Diego de Gálvez. Otras propiedades las adquirió Antonio Bresca en 1889.

Desde entonces fue sede de la Sociedad Filarmónica, el Círculo Lírico-Dramático, la logia «la Bética», la Cámara Sindical y el Círculo Republicano Progresista, hasta que en 1901 un feroz incendio redujo a cenizas el edificio, ocasionando incluso dos pérdidas humanas, entre las que se contaba a Enrique Cubero.