El convento de la Merced Calzada se construyó en el siglo XIII sobre lo que en época romana fue la basílica visigoda de Santa Olalla, en las que fueron enterradas las mártires Columba y Pomposa. Su construcción se enmarca en la reconquista de la ciudad de Córdoba por parte del rey Fernando III el Santo en 1236, tras la cual se fundan cuatro conventos en la ciudad: el de San Pablo, San Pedro el Real, La Trinidad y el de la Merced.

Del convento construido en el XIII no se ha conservado ningún resto arquitectónico, aunque como prueba del esplendor de la institución en sus inicios siglos se ha conservado el Cristo de la Merced, importante pieza de finales del XIV, relacionada con los crucificados castellanos. Otro hecho significativo de su periodo como convento mercedario es que en sus dependencias se hospedó Cristóbal Colon, cuando esperaba ser recibido por los Reyes Católicos en el Alcázar de los Reyes Cristianos.

Entre 1716 y 1745 se llevaron a cabo las obras para remodelar el antiguo convento. Esta reforma fue patrocinada por los comendadores Fray Lorenzo Ramírez y Fray Pedro de Anguita. Posteriormente ha tenido otras dos remodelaciones, en 1850 y 1960.

En 1836, tras la desamortización el convento pasa a la Beneficiencia provincial, que lo utilizó como hospicio de niños huerfanos y abandonados de toda la provincia, al cuidado de las hijas de la Caridad.

Ya en el siglo XX, en la década de los sesenta, se convirtió en sede de la Diputación Provincial de Córdoba y desde entonces se le conoce como "Palacio de la Merced". Está declarado Bien de Interés Cultural en la categoría de monumento desde el año 2008.