Sanlúcar de Barrameda, en Cádiz, llegó a albergar 19 conventos fundados aproximadamente entre 1450 y 1650, que alcanzaron a estar simultáneamente habitados en esta última fecha. Casi todos habían recibido su impulso inicial de los duques de Medina Sidonia, pero en todo caso su capacidad de aumentar en tamaño y suntuosidad dependió siempre de la generosidad de los donante y personalidades de la ciudad. El establecimiento, tan numeroso de instituciones religiosas en la ciudad, vino favorecido por la política religiosa y monárquica, de evitar la extensión del protestantismo que extendía la cultura iglesia. En este contexto, en la provincia de Andalucía, se buscó expresamente entre 1570 y 1600 promover casas y seminarios jesuíticos compuestos por sacerdotes católicos ingleses, con el fin de reintroducir la obediencia a Roma en Inglaterra. No por casualidad, en 1590-1591, unos años después de la derrota de Medina sidonia al mando de la Invencible, el duque D. Alonso promovió la renovación de una fundación anterior, la iglesia y hospital de San Jorge, encargada del cuidado físico y espiritual de los marinos ingleses que llegaban a Sanlucar. Sin embargo, no fue hasta varias décadas después cuando la Compañía se instaló de manera estable en la ciudad, ya en tiempos del VIII duque don Manuel Alonso. Para entonces, el interés de la Casa de Medina Sidonia había mudado de la proyección contrarreformista de la Compañía a su labor misionera en las Indias. Sería su sucesor, el IX duque de Medina Sidonia quien favorecería la instalación definitiva de la Compañía al plantear su interés en ser nombrado patrono y protector de la Compañía de Jesús, en la provincia de la Bética. Con el único fin de engrosar su prestigio y poder en Indias. A finales del S.XVI los jesuitas contaban ya con el permiso de la Corona para extender su labor, al otro lado del Atlántico. El establecimiento de la Orden en Indias suponía influencia y contactos con los colonizadores y establecerse como patrono de la misma, mayor prestigio y poder.Un patronato a cambio del cual el duque se mostró dispuesto a financiar la construcción de una nueva iglesia y casa mucho más amplias y ricas que las que por entonces seguían en funcionamiento en Sanlúcar. Este establecimiento de los jesuitas se realizaría en la ermita de la Vera Cruz, en 1620 a petición del duque de Medina Sidonia. El Colegio no sólo llevaría a cabo las funciones formativas y pastorales propias de la Orden sino que funcionaría como hospedería para los propios los miembros de la Compañía antes de embarcarse con destino a América. Poco más conocemos del desarrollo de este colegio. Finalizó su actividad en 1767, con motivo de la Pragmática sanción promulgada por Carlos III.

Tras la expulsión de los jesuitas, el templo de esta institución fue cedido a la Cofradía de San Pedro. Con motivo de la presencia de los ejércitos franceses en la localidad, en el S.XIX, la cubierta de la iglesia fue destruida por un incendio, por lo que transcurrido algún tiempo sin uso fue vendida para albergar una bodega, destino que aun conserva (bodega La Compañía, Barbadillo).

Tras los destinos señalados, las dependencias del antiguo Colegio pasaron a servir de alojamiento para la escolta de los duques de Montpensier, destinándose en 1940 a oficina de Telégrafos, mientras la parte trasera acogió una escuela, un cuartel de caballería y la Casa de Expósitos.

Ya en 1987, el edificio sufrió una importante remodelación para ser convertido en viviendas, aunque conservando los tres patios con arquerías sobre columnas de mármol que lo articulaban.

Algunas de sus galerías se han convertido en pasajes urbanos.