Convento fundado en torno a 1536 por María de la Cruz, profesora de la Tercera Orden, con el apoyo de varias beatas naturales de Zafra. Teóricamente, la comunidad debió residir en un recinto situado extramuros (tal y como indica una de sus denominaciones) hasta su traslado al edificio definitivo, producido a finales de la primera década del s. XVII. El inmueble en cuestión correspondía a la antigua casa-palacio de D. García de Toledo y Figueroa (nieto de D. Lorenzo II Suárez de Figueroa, I conde de Feria), construcción erigida en el primer cuarto del s. XVI y adquirida por las hermanas en 1600 o 1609 (dependiendo de la fuente) cuando D. García tuvo que marcharse a la corte madrileña a prestar sus servicios como ayo de Carlos de Austria.

La elección de este edificio y no otro (como el Alcázar), se debió a que poseía una tribuna a la iglesia de la Candelaria, con la cual lindaba. Sin embargo, esta compra contó con la oposición de Dª. Juana Dormer (I duquesa de Feria y, por entonces, gobernadora del Estado de Feria), quien deseaba destinar el palacio a un colegio de jesuitas, objetivo que no alcanzó.

La comunidad floreció con el paso de las décadas, llegando a contar en 1743 (tal y como indica el catastro desarrollado por el marqués de la Ensenada) con treinta y tres monjas. No obstante, el convento fue desamortizado en 1836, momento en el que las hermanas se vieron obligadas a trasladarse al vecino cenobio de Santa Clara con cuya comunidad se fusionaron.

En 1842, y en vista de que ningún particular optaba por adquirir el edificio, la Junta Superior de Ventas Nacionales lo cedió gratuitamente al Consistorio de Zafra, quien lo destinó a establecer en él unas escuelas públicas y diversas dependencias oficiales; por su parte, la iglesia continuaba con culto.

En 1881, tras ser sometido a amplias reformas, fue destinado por completo a albergar dependencias municipales, convirtiéndose en Ayuntamiento.