El Colegio de San José de Zaragoza fue fundado por Raymundo Lumbier en 1658. Estaba situado en el recinto del Convento de la Concepción y fue construido con fondos de otros conventos. El 20 de abril de 1660 Lumbier obtuvo facultades especiales como fundador para nombrar al rector y los profesores al margen del padre provincial de la orden. En 1663 se concedieron al rector del colegio los mismos poderes que a los priores de los conventos. Los estatutos del colegio también fueron obra de Lumbier.

A lo largo de su existencia, el número de frailes osciló entre los 17 y los 28. Disponía de una amplia biblioteca que había pertenecido también al Convento de la Concepción. El colegio tenía estudios de teología (escolástica y dogmática) y filosofía. Además, el 30 de agosto de 1725 el papa Benedicto XIV concedió al colegio la facultad de otorgar el grado de doctor. Sin embargo, debido a que en el colegio se enseñaba el pensamiento de John Baconthorpe, los frailes encontraban problemas para optar a las cátedras de artes de la universidad de Zaragoza hasta que el 6 de marzo de 1756 el rey Fernando VI promulgó una real cédula dando derecho a los frailes del colegio a opositar por esas cátedras. El colegio llegó a contar con una renta de 39.755 reales de vellón a finales del siglo XVIII.

El colegio sufrió graves daños durante la Guerra de la Independencia (1808-1814), aunque pudo reconstruirse después del conflicto. Durante el Trienio Liberal (1820-1823) el colegio fue cerrado por la Real Orden de 9 de mayo de 1821 sobre el arreglo de conventos de la provincia de Aragón, en cumplimiento de la Ley sobre monasterios y conventos de 25 de octubre de 1820. Fue suprimido definitivamente por los decretos de exclaustración de 1835.