Originariamente el edificio formó parte del Convento de San Francisco, pasando a manos del Estado tras la Desamortización, e instalando allí la sede de la Delegación de Hacienda en Pontevedra.

En el año 2010 las oficinas de la Delegación se trasladaron a la zona de Campolongo, quedando sólo algún servicio del Ministerio de Hacienda, para que el edifico siga siendo público y la iglesia no pueda pedir la devolución de dichas instalaciones.