El origen del Colegio Imperial se remontan a 1558, cuando el conde de Feria, a propuesta del padre Rivadeneyra, decidió fundar un colegio jesuita en Madrid. Felipe II (1558-1598), decidía trasladar la Corte a la villa de Madrid para que fuera capital permanente. Estar cerca del Rey y de su Corte representaba un beneficio para la Compañía, por otro lado, en esos momentos la villa no contaba con enseñanza superior de calidad, si con los Estudios de la Villa, creados en el XIV.

Comienza su construcción en un terreno adquirido a don Bernardino de Mendoza junto a la puerta de Balnadú, pero al estar estos terrenos insertos en el proyecto de la prolongación del Alcázar, Felipe II decidió paralizar su construcción.

El siguiente y definitivo emplazamiento fue sobre un terreno en la calle Toledo, cedido a la Compañía por doña Leonor Mascareñas, dama de la emperatriz Isabel y de doña María de Portugal. En 1564 se construyó un primer edificio que empezó a funcionar en 1572 por orden de San Francisco de Borja, ofreciendo los estudios de gramática, retórica y teología. No sin problemas pues suponen una competencia para los Estudios de la Villa, Salamanca y Alcalá de Henares, por lo que se les prohibió otorgar títulos oficiales.

El colegio adquiere una relevante posición en el entorno de la Corte, siendo de gran importancia su relación con la Emperatriz doña María de Austria, hija de Carlos V y esposa del emperador Maximiliano, y quien tras enviudar en 1581 regresó a Madrid para ingresar en el monasterio de las Descalzas Reales. La Emperatriz, que tuvo una gran predilección por la Compañía, dejó parte de su fortuna para que el colegio fuera reconstruido de nueva planta. Así, tras fallecer en 1603, y tras no pocas diferencias entre sus otros herederos, el colegio fue vuelto a fundar con el nombre de Colegio Imperial, quedando doña María como patrona, dotadora y fundadora del mismo.

Su iglesia, se construye entre 1622 y 1664 por los arquitectos jesuitas Pedro Sánchez, y Francisco Bautista, y consagrada el 23 de septiembre de 1651 por el Nuncio don Julio Raspelosi, bajo la advocación de San Francisco Javier.

El Colegio Imperial fue quizá la institución más relevante del Madrid del Antiguo Régimen, sobre todo a partir de 1625 con la fundación dentro del mismo de los Reales Estudios de San Isidro. Un intento de estudios universitarios, promovido por el Conde Duque de Olivares. Por el Colegio pasarían personalidades como Lope de Vega o Quevedo.

Al igual que hicieran instituciones educativas en París, Felipe V crea, dentro del Colegio el Seminario de Nobles (1725) de reducido acceso, sólo para hijos de nobles.

Tras la expulsión de los jesuitas en 1767 la iglesia se transformó en colegiata, cambiando su advocación a San Isidro, y pasando a albergar desde ese momento los restos del Santo Patrón madrileño y su esposa, una táctica del Rey para relegar a los jesuitas.

El colegio pasó a ser dirigido por maestros laicos directamente nombrados por el rey. Se seguían manteniendo los estudios superiores, ya reconocidos.

Durante el S.XIX los avatares históricos del país, con la guerra de la Independencia, La Restauración y los distintos levantamientos, van a provocar la idas y venidas de los jesuitas al Colegio. La definitiva expulsión de los Jesuitas del Colegio se produce en 1836.