Tras la expulsión de los jesuitas, el edificio fue subastado así como sus bienes.
Actualmente su fábrica la ocupa un edificio de apartamentos turísticos.
En el año 1653 llegaron los primeros jesuitas, por iniciativa de D. Agapito Llobet, que legó todos sus bienes a la Compañía con la misión de fundar un colegio en la isla para la instrucción doctrinal y una docencia adecuada de sus habitantes.
El colegio se instaló en una casa cedida por el Ayuntamiento para hacerlo cuatro años después en una casa situada en la calle d'en Julià. En 1658 se construyó una iglesia y la comunidad compuesta de tres padres y tres hermanos se trasladó a un edificio de mayor capacidad situado frente al Seminario.
Contó con un patrimonio importante con dotaciones de las Universidades que ascendían a 2400 libras y en el que se contaban además fincas como l'Heretat del Puig d'en Blanch (1748), Sa Barda y l'Heretat de la isla de Formentera por donación de Mateo Violat. La influencia de la Compañía de Jesús fue notable como lo demuestran las alusiones existentes en la toponimia actual. Después de la expulsión sus bienes, entre los que figuraban 26 cuadros de temática religiosa y de su patrocinador, fueron enajenados en 1794.