Los dominicos ya estaban asentados en Toledo desde 1209, en una comunidad que tenía la advocación de San Pablo. Años más tarde, en 1230, Fernando III dispuso que tuviesen su propio convento y para ello donó unos terrenos extramuros que el monarca había adquirido a la catedral, este lugar era conocido la Huerta del Granadal, por lo tanto el nuevo convento sería conocido como San Pablo del Granadal. Pasado el tiempo, los frailes mostraron su descontento con la localización del convento, y alegando razones de insalubridad, debido a la proximidad del río, buscaron mudarse a una nueva fundación dentro de la ciudad.

En 1407, con una carta de seguro otorgada por el regente Fernando Antequera, se trasladan por fin al interior de la ciudad, a unos casas junto a la parroquia de San Román, llevándose a cabo la consagración de la iglesia el 11 de mayo. La autorización papal llegaría al año siguiente, pero el nuevo convento, que contaba con advocación de San Pedro Mártir, echó a rodar, siendo su primer prior Diego de Amusco y siendo la comunidad de trece frailes. Durante las primeras décadas de vida se produjo una ampliación del complejo conventual a partir de adquisición de edificios, así por ejemplo, en 1452, compran una casa a Rodrigo Niño, regidor, por 15.000 maravedíes. También reciben donaciones, como la que realiza en 1477 el obispo de Badajoz, Pedro de Silva, que cedió unas casas de su madre.

A finales del siglo XV, se producirían dos hechos que supondrían el auge del convento. Por un lado, el Tribunal de la Inquisición fue trasladado de Ciudad Real a Toledo en 1485, encomendando a los dominicos el juicio de las causas. Esto supuso ampliaciones para adecuar el convento, que ya contaba con sesenta frailes, a su nueva función. El propio Inquisidor General, Tomás de Torquemada, donó en 1490, para tal fin, unas casas que habían comprado los reyes católicos al comendador de Mora, Pedro López de Ayala. El segundo hecho que marcó el futuro auge del convento fue el privilegio de adquisición de imprenta que otorgaron los Reyes Católicos al convento. Esta imprenta serviría para estampar la Bula Cruzada que el papa Sixto IV había otorgado a los Reyes Católicos para que éstos se ocupasen de su cobro. El convento de San Pedro Mártir tendría el privilegio de estampación de esa bula, que además se re-imprimía cada año por adviento, y de varias otras, lo que suponía grandes ingresos económicos.

El siglo XVII comenzó el declive del convento y aunque el 7 de octubre de 1609, Felipe III perpetúa el monopolio de la impresión de la mitad de las Bulas Cruzada a San Pedro Mártir, lo cierto es que la decadencia económica y demográfica que vivía todo Toledo tras el traslado de la Corte a Madrid en 1561, terminó pasando factura al convento. Durante este siglo el convento continuaría ampliándose pero ya quedaría estancado su crecimiento para los siguientes siglos. En 1694 se adquirieron unas casas conocidos como del Marqués de Lanzarote, se emprenderían obras para adecuarlas al entorno conventual, pero ya serían las últimas obras significativas de San Pedro Mártir. A finales del siglo XVIII se estableció la Universidad de Toledo en el convento, esto sucedería entre los años 1789 y 1799.

El siglo XIX llevaría la vida del convento a su fin. Durante la Guerra de la Independencia, los frailes tuvieron que huir de la invasión francesa y aunque el convento no sufrió ninguna exclaustración, sí perdieron varios bienes confiscados por las tropas francesas. Tras el fin de la contienda los frailes volverían al convento, que reactivaría su vida, pero en 1835 se promulgan los decretos de exclaustración de Mendizábal, por lo que, San Pedro Mártir es suprimido. La orden de incautación se comunicó al superior, fray Juan de la Escalera, el 28 de enero de 1836.