Durante el primer tercio del siglo XVII los jesuitas llevan a cabo varios intentos de instalarse en Segorbe pero será en 1635 cuando lo hacen de forma definitiva fundando un colegio-seminario. Destinado, sobre todo, a la formación de misioneros con destino a las Indias orientales y occidentales, en la fundación destaca la figura de Don Pedro Miralles, un vecino de la villa de Begís, en el obispado de Segorbe.

La donación permitió instalarse a los jesuitas en unas modestas casas y huertos para, poco a poco, ir levantando lo que más tarde sería una de las principales instituciones de la Comunidad Valenciana.

El colegio proyectado se levanta bajo la advocación de San Pedro, príncipe de los apóstoles, y aparte de los terrenos, Pedro Miralles hace donación de unas rentas anuales en metálico destinadas, en su mitad, a cubrir el sustento de los religiosos y, el resto, a para la construcción de las instalaciones necesarias: fábrica, iglesia, habitaciones...

El acondicionamiento de las primeras instalaciones están listas en 1630, sin embargo los jesuitas no pueden hacer uso de ellas hasta el 12 de mayo de 1635. La iglesia fue el siguiente proyecto, de una sola nave, sin crucero y con capillas comunicantes, las obras se inician a mediados de siglo, y hasta que no se estuvieron casi finalizadas no se comenzaron el resto de edificaciones, la residencia de los padres y la ampliación de las aulas para la enseñanza. En el centro, y hasta el momento de la expulsión de la Compañía, se impartían las materias de humanidades, filosofía y teología. Todo el conjunto debió estar finalizado en las primeras décadas del siglo XVIII.

En 1767 llega el Decreto de expulsión de los jesuitas y un día después de la ocupación del edificio los miembros de la comunidad marchan hasta el noviciado de Tarragona para emprender el viaje que, desde el puerto de Salou, les llevaría hasta su destino definitivo en los Estados Pontificios.

El colegio de Segorbe pasó a ser seminario diocesano y mantuvo su función educativa para jóvenes de toda la comarca. La biblioteca que poseyeron los jesuitas en su colegio, quedó también, gracias a la actuación de Alonso Cano, en beneficio del seminario diocesano en 1775. En septiembre de 1815 las autoridades de Segorbe firmaron una solicitud en la que pedían la reintegración de los jesuitas en su antiguo colegio de San Pedro en virtud de la real cédula de 29 de mayo de 1815, pero fue denegada y el que fuera su colegio continuó en sus funciones de seminario diocesano, manteniéndose así hasta la actualidad.