La comunidad de franciscanas que habitó el convento de San Isidoro de Ciudad Rodrigo fue creada por Catalina Enríquez, hija de don Rodrigo Pacheco Osorio y Ana de Toledo, primeros marqueses de Cerralbo.

El cenobio fue fundado a expensas de Antonio Nieto de Silva, quien actuó en nombre de su hermana Inés Pacheco de Silva (viuda de Rodrigo Maldonado). Esta quería fundar un convento de descalzas franciscanas en las casas que poseía anejas a la iglesia de San Isidoro, deseo que vio cumplido el 1 de agosto de 1605. En octubre del mismo año llegaron tres religiosas fundadoras procedentes de la clausura de las Descalzas de Trujillo, siendo una de ellas la citada Catalina Enríquez, y entraron a vivir al convento junto con Inés Pacheco, que fue una de las primeras religiosas del cenobio. Tres años más tarde, en 1608, el obispo Pedro Ponce, con privilegio del papa Paulo V, cedió el templo de San Isidoro para ampliar las dependencias de la nueva clausura de descalzas, que hacía más de ochenta años que no tenía feligreses pese a haber sido iglesia parroquial.

El convento se localizaba adosado a la muralla de la ciudad, entre el palacio de los Castro y la Puerta del Conde, de modo que resultaba inapropiado para la clausura, ya que no había suficiente terreno para instalar huertas y jardines. El problema se acentuó con motivo de las obras de ampliación de la muralla que se efectuaron entre 1707 y 1710, que cercenaron el edificio. Para resolver las molestias que ocasionaba la falta de espacio, las religiosas de San Isidoro optaron por una solución poco ortodoxa, abriendo un portillo entre su estrecho jardín y el del palacio de los Castro. La ocupación de dicho palacio dio lugar al inicio de la primera de las llamadas "guerras de las paredes" que tuvieron lugar en esta ciudad, para cuya resolución tuvo que acudirse a la autoridad episcopal, que aplicó penas canónicas e incluso recurrió al más expeditivo brazo armado ante la desobediencia de estas religiosas.

El obispo Gregorio Téllez ejerció de mecenas del cenobio habilitando, en 1739, un nuevo espacio para la comunidad en la zona conocida como Campo de Trigo, en el lugar que ocupó en el siglo XV el Palacio Episcopal. La construcción del nuevo convento fue dirigida por Manuel de Larra Churriguera. Para poner fin al conflicto ocasionado por las protestas de las religiosas, se buscó la funcionalidad del espacio. De este modo se proporcionó un asentamiento definitivo y más cómodo a la comunidad de franciscanas.

En 1810, con el estallido de la Guerra de Independencia, las religiosas de San Isidoro fueron nuevamente expulsadas de su convento, que fue utilizado como cuartel de artillería desde entonces. Una vez finalizada la contienda, la comunidad regresó al cenobio en 1819, comenzando su habilitación en 1820.

Con motivo de la Revolución de la Gloriosa, en 1869 el Estado incautó el edificio para convertirlo en cárcel del partido judicial, obligando a las religiosas a abandonarlo definitivamente y trasladarse al convento de Santa Clara. En 1870 el arquitecto provincial José Secall y Asión inició las obras de adaptación del inmueble como prisión, finalizándolas en 1872. Parte de sus dependencias se transformaron para servir como Juzgados Comarcal y de Primera Instancia.

En 1953 se devolvió la propiedad del edificio a la Diócesis de Ciudad Rodrigo y, tras su remodelación, alberga la residencia geriátrica "Obispo Téllez".

El edificio conventual de San Isidoro que se construyó en Campo de Trigo cuenta con una fachada en la que se sitúa una portada barroca con arco adintelado y columnas, que incluye las armas reales y, en su parte superior, un escudo ovalado en el que se ubica una representación del Sagrado Corazón de Jesús. En su interior se localiza el claustro, de planta rectangular y alzados modestos, que daba acceso a las dependencias conventuales que lo rodeaban.

El templo presenta una planta de cajón de tres tramos, con el coro situado a sus pies y cerrado por una verja. Está cubierto por bóvedas de medio cañón con lunetos y, a los lados de la nave, presenta arcos destinados a acoger retablos.

Los retablos que albergaba en su interior fueron elaborados por Luis González y, aproximadamente en 1950, fueron trasladados al Seminario.

La antigua iglesia de San Isidoro se localizaba junto a la Puerta del Conde de Ciudad Rodrigo, prácticamente adosada al primitivo convento de San Isidoro. Su origen se remonta al siglo XII, durante el periodo de repoblación, cuya construcción fue ordenada por Fernando II de León para conmemorar el milagro que obró San Isidoro (patrón de Ciudad Rodrigo) alertando al rey para que fuera a defender la ciudad del ataque de los musulmanes. Fue reedificada por Diego de Guzmán y Silva (canónigo de Toledo y embajador de Felipe II en Londres, Génova y Venecia), y cedida después al convento de franciscanas descalzas en 1608 por el obispo Pedro Ponce, con privilegio del pontífice Paulo V. Posteriormente el edificio quedó arruinado a consecuencia de la Guerra de Sucesión, siendo restaurado por el obispo Jerónimo Ruiz de Camargo. Tras el abandono del convento por parte de las religiosas, José Biguezal se encargó de la rehabilitación de la iglesia, anexionándole la parroquia de Santo Tomé y trasladando a ella la imagen de San Isidoro desde la Catedral en 1760. Más tarde el templo se convirtió en Hospital de la Pasión, manteniendo este uso durante más de treinta años. En la actualidad el espacio que ocupó este templo se ha destinado a la construcción de viviendas.

Uno de los retablos barrocos que albergaba esta iglesia pasó a custodiarse en el Seminario Diocesano de San Cayetano.