El colegio de Gandía se levanta extramuros de la ciudad alrededor de una ermita dedicada a San Sebastián, la concesión de los terrenos se produce en mayo de 1546 y las obras de acondicionamiento se terminan en 1549, un año después de haber obtenido la concesión del edificio por una bula pontificia de Paulo III. También por bula papal fue elevado a la categoría de Universidad en noviembre de 1547, obteniendo así la concesión de leer todas las artes, ciencias y facultades y ofertar los grados en ellas de bachiller, maestros, licenciados y doctores.

Si bien todas las concesiones al centro jesuita se dieron en la segunda mitad de la década de 1540, la inauguración oficial del colegio-universidad no llegó hasta febrero de 1550 cuando obtuvo la confirmación gubernamental otorgada por Carlos V. La dirección de la universidad quedó en manos de San Ignacio de Loyola y como primer Rector se nombró al Padre Andrés Oviedo.

La universidad de Gandía no llegó a tener nunca el nivel que pudieron tener otras como la de Alcalá o Valencia, sobre todo en su primer siglo y medio de existencia, incluso se llegaba a considerar al colegio en un nivel secundario respeto a otros de la misma Orden. En el siglo XVIII aumentó algo su prestigio, en 1720 poseía los títulos de Regia, Cesárea y Pontificia, con los mismos privilegios que tenían otros centros como Salamanca o Huesca y en 1747 llegó a reunir veintidós cátedras.

En cuanto al resto de edificaciones, los jesuitas habían levantado durante la segunda mitad del siglo XVI el cuerpo del edificio en torno a la ermita de San Sebastián, el espacio quedaba configurado en un conjunto formado por dos patios, uno llamado de la portería, de la universidad o de las aulas, y otro de carácter privado llamado de los confesionarios o de la iglesia.

A finales del XVI adquieren nuevos terrenos aledaños con vistas a levantar un templo de mayor tamaño y ampliar las dimensiones de la residencia. Las obras se inician en el año 1600 y se llevaron a cabo con bastante celeridad, gracias, sobre todo, a la aportación de mil ducados por parte de Felipe III, en lo que supuso el primer caso conocido de patrocinio real en la arquitectura jesuita valenciana.

Con la expulsión de la Compañía en 1767 los jesuitas se vieron obligados a salir de la universidad en la madrugada del 3 de abril de 1767. La actividad en el centro continuó brevemente en manos de maestros y preceptores seglares gracias a la Real Provisión de 5 de Octubre de 1767, sin embargo cinco años más tarde el Real Decreto expedido el 11 de Agosto de 1772 declaraba extinguida la Universidad de Gandía, llevándose a efecto en noviembre del mismo año. El resto de las instalaciones pasaron al cargo de los padres escolapios, quienes aceptaron la cesión el día 20 de enero de 1807.

Aunque los jesuitas intentaron volver al colegio de San Sebastián en la segunda década del siglo XIX la iniciativa fue desestimada ante la negativa de los padres escolapios a abandonar las instalaciones.