Los jesuitas llegaron a Utrera en 1625 instalándose, de manera provisional, en diferentes casas por la villa. En mayo de 1630 se inician las obras del que será su emplazamiento definitivo en el colegio residencia de San José. El patrocinio, como ocurrió con la mayoría de los colegios jesuitas, correrá a cargo de personalidades ilustres de la villa, en el caso de Utrera serán D. Lope Ponce de León y Dª Catalina de Perea los encargados de conceder las donaciones necesarias para edificar, casa e iglesia, para los religiosos de la Compañía.

Primero se llevó a cabo la construcción del colegio, que quedó bajo la advocación de San José. La labor educativa se inició con un maestro de filosofía, dos de gramática y dos de primeras letras. Una vez finalizada las obras de las aulas, se empezó a edificar la iglesia, hacia el año 1645, en un espacio adquirido por la Orden junto a la plaza del Altozano. En marzo de 1652 se finalizaron los trabajos y se llevó a cabo la bendición de la iglesia, un espacio organizado a partir de una sola nave, en cuya cabecera queda situada la Sacristía, sobre ella una cúpula semiesférica simple, sin tambor y sin linterna, que se apoya sobre pechinas.

El altar y retablo mayor forman un solo cuerpo en el que se representa a dos Ángeles dispuestos para coronar a la Virgen de los Dolores, la imagen de San José, que da nombre al colegio, queda situada en la parte superior. La fachada lateral, que se levanta en la citada plaza del Altozano, es muy sencilla y a sus lados se pueden apreciar dos retablos cerámicos con imágenes de la Hermandad de la Veracruz de Utrera, que tiene aquí su sede.

Del conjunto del edificio jesuita en la actualidad se conserva la capilla dedicada a San Francisco. Con el decreto de expulsión de Carlos III, en 1767, los jesuitas abandonaron el colegio de San José y aunque regresaron a Utrera, entre 1828 y 1833, tuvieron que trasladarse a otras instalaciones ya que la iglesia había pasado a manos de los padres franciscanos en 1797.