El colegio de San Andrés fue la primera fundación de los Jesuitas en la Villa, realizada a la voluntad del bilbaino D. Domingo de Gorgolla, Mayordomo del Cardenal de Toledo. En 1.600, muere en Alcalá de Henares, dejando un legado de 1.500 ducados de oro, destinado a la construcción del Colegio de Jesuitas en Bilbao. Hubo un intento anterior en 1552, de establecimiento de un Colegio, mediante la persona de Francisco de Borja a petición de la nobleza de la ciudad, pero chocaron con la negativa del Cabildo. El 15 de noviembre de 1.604, se celebró la correspondiente toma de posesión de dicho importe. A este legado se añadirá en 1630, el realizado por Dña. Antonia de Zamudio Martiartu y Guecho, viuda de Ochoa de Urquiza, Contador Mayor y Juez de la Contratación de Sevilla. La construcción de este conjunto se prolonga hasta bien entrado el siglo XVII, si bien parece que la mayor parte de la obra fue ejecutada entre 1610 y 1630. El Colegio se articulaban en torno al Claustro, elemento sobrio y austero formado por cuatro crujías, y tres alturas, destinadas a las instalaciones propias de una institución de enseñanza. Establecidos los Jesuitas en la nueva ubicación, se crean en el Colegio, las primeras cátedras de latinidad y doctrina cristiana, que irían progresivamente ampliándose hasta llegar al año 1764-65 en que cuentan ya con cátedras de Teología, Moral, Lógica, Metafísica, Física, Latinidad y Gramática. En el año 1767, a raíz de la Orden de Carlos III, se produce la expulsión de los Jesuitas de España, los bienes de la Orden pasan a disposición de la Corona. Por Real Orden de 1769, y a petición del Ayuntamiento de Bilbao en tanto patrono de las iglesias parroquiales de la Villa, se autoriza el traslado de la Parroquia de los Santos Juanes, entonces sita en Atxuri y en estado ruinoso, a la Iglesia del Colegio, hecho que se produce a finales del año 1770. El Colegio y la Iglesia fueron separados por un muro, cerrando las comunicaciones entre ambos edificios y privando a la Iglesia del Claustro. Ese mismo año de 1769, se destina parte del Colegio de Jesuitas a Escuela de Primeras Letras, Latinidad y Retórica, con aulas y habitaciones para maestros y pupilos.

Durante un centenar de años parte del edificio fue ocupado por la Santa Casa de Misericordia, dando asilo y refugio a pobres, enfermos, impedidos y huérfanos, a quienes se ocupaba e instruía en el aprendizaje de ciertos oficios, entre los que destacó la alfarería, que dio lugar a la creación de una fábrica de loza ordinaria y fina.

Con el desalojo de la Misericordia en el año 1872, el edificio principal del antiguo Colegio se convirtió en sede de diversas instituciones públicas y en el año 1879 se crea e instala en él la Escuela de Artes y Oficios, donde permanecerá hasta el curso 1910-11.

En el año 1914 el Ayuntamiento autoriza la cesión del Claustro para la instalación del proyectado Museo Arqueológico de Vizcaya.