La petición fundacional se remonta a 1672 y fue aprobada por el cabildo por ser «muy útil y conveniente a todos sus vecinos» a pesar de las reticencias que se estaban dando en ese momento para la instalación de nuevas fundaciones. Se puso como condición que aprovecharan alguna de las instalaciones libres de la ciudad, y escogieron la ermita de Santa Elena (hoy desaparecida, situada junto a las Puertas de la Tierra), tomando posesión de la misma el 30 de noviembre de 1672.

Dos años después el Previsor de la Congregación de los Oratorianos ordenará el traslado al templo del Hospital de Mujeres, lo cual no se llegó a llevar a cabo, pero ocasionó graves enfrentamientos entre las dos partes interesadas. El 4 de octubre de 1679 se traslada el Santísimo Sacramento a la calle San José, a unos locales que el obispo había adquirido expresamente para los filipenses. El gobernador de la ciudad ordenó fuertemente que los religiosos no abandonaran Santa Elena, amenazándoles incluso con el uso de la fuerza para lograrlo. Fue necesaria la intervención del rey cerca de su ciudad, del gobernador y del obispo para que finalmente se aceptara el emplazamiento en la calle San José (donde se encuentra actualmente).

Entre 1685 y el 17 de septiembre de 1719 (fecha en la que es consagrada) se levantó la iglesia actual en honor de San Felipe Neri, con trazas del alarife Blas Díaz.

Los ingresos, si bien relativos al número de vocaciones, nunca debieron ser insuficientes.

Tenemos noticia de que Enrique Díez de la Rosa fue benefactor de este oratorio. Algunas de las consagraciones sacerdotales más ilustres fueron: Sebastián Herrero Espinosa de los Monteros (1822-1903, sacerdote en 1860) y Vicente Calvo y Valero (1838-1898, sacerdote en 1862)

En 1811, cuando las cortes españolas deciden trasladarse de San Fernando a Cádiz, se les emplaza en esta iglesia. Se realizaron obras para adecuarlo a tan alto cometido como elaborar la Constitución de Cádiz, siendo tan pobre en adornos el templo que el Aposentador Real tuvo que pedir prestadas alfombras a la comunidad de San Juan de Dios. El templo quedó marcado en el imaginario gaditano como un monumento a la libertad, y en su cripta enterraron a las cenizas de las víctimas de la represión armada que sufrió la ciudad el 10 de marzo de 1820 (muy posiblemente el traslado se hizo en 1843).

Tras la exclaustración y el desalojo de los tres frailes filipenses que lo habitaban, el templo pasó a la jurisdicción de la Mitra. Desde 1838 hasta por lo menos 1850 fue un colegio de humanidades, con ilustradísimos profesores, está ejerciendo en el inmueble.

En el templo encontramos una Inmaculada Concepción de Murillo (1617-1682) y José montes de Oca (-1754) entre otros.