El origen de este convento hay que situarlo en la segunda mitad del siglo XIV, cuando el obispo de Segovia Martín de Cande aprueba la fundación de esta comunidad, destinada a la redención de cautivos, en 1365.

El convento de la Merced nace gracias a las donaciones de la noble segoviana Elvira Martínez, ilustre segoviana, casada en Guadalajara con Fernán Rodríguez Pecha, camarero mayor del rey don Alonso, con el que tuvo dos hijos: don Pedro Fernández Pecha, primer fundador de la orden de los Jerónimos en España, y don Alonso Fernández Pecha, que llegó a obispo de Jaén.

En 1367 es cuando se produce la donación fundacional con frailes de Guadalajara. A esa primera donación le siguieron otras, en 1369 y 1372, que según las escrituras dotaban al convento de: "...casas, seis yugadas de heredad, 14 aranzadas de viña, eras, pastos de prado y dehesas que poseía en el lugar de Abades, jurisdicción de Segovia..."

El convento de la Merced en Segovia recibió otra importante cesión en 1412, cuando el rey Don Juán I concedió a los frailes mercedarios la Sinagoga Vieja judia, a cambio de unos solares, a la espalda de su convento.

Una de las actividades principales de los religiosos de este convento fue la actividad docente. El convento de la Merced de Segovia era el colegio de pasantía de la provincia de Castilla, en él se admitían únicamente doctores, es decir, personas que ya hubiesen terminado la carrera. Recibía a alumnos de habían concluido sus estudios en Salamanca y Alcalá, pero tras la ocupación francesa esta actividad casi desaparece por la falta de religiosos.

Durante el siglo XVIII fue una comunidad religiosa muy destacada. En 1787 contaba con un número cercano a 30 religiosos y contaba con el 11%, aproximadamente, de las tierras obradas de la provincia de Segovia, en 1820.

El convento desaparece tras la desamortización, en el año 1835, cuando contaba con 10 religiosos. A mediados del siglo XIX en el espacio que hasta entonces ocupaba el convento se empezaron a organizar unos jardines que dieron lugar al espacio que hoy configura la Plaza de la Merced.