La mayoría de los conventos de Sanlúcar estaban amparados por los duques de Medina Sidonia. Una vez que la ciudad comienza a perder importancia en beneficio de otras poblaciones gaditanas, decaerán no sólo las fundaciones sino la misma presencia de conventos. Con todo, en el siglo XVIII la población religiosa de Sanlúcar suponía un tres y medio por ciento de la población total, siendo a finales de dicho siglo más de veinte las personas que habitaban el convento de los Mínimos.

Antes de ocupar este convento, en el seiscientos, la orden de los Mínimos ya se encontraba en posesiones de los duques de Medina Sidonia, al menos desde mediados del siglo anterior. Necesidades de espacio, seguramente relacionada con el incremento de miembros, les llevó a solicitar al que era séptimo duque de Medina Sidonia un nuevo emplazamiento. Les fue concedida su petición, pues en acuerdo capitular de 1611 aparecen nombrados ya como frailes de Nuestra Señora de la Victoria, por lo que cabe suponer que por entonces ya hacían vida conventual en el edificio de la calle Tartaneros.

Dos años más tarde los Mínimos van a ser favorecidos, a fin de ampliar y concluir el edificio, con la donación de doña María del Almonte, que por testamento otorgado en 1613 los nombra sus herederos universales. No fue la única ayuda destinada a la finalización de las obras, que se suponen terminadas por lo que se refiere al convento y a la iglesia en 1619. La principal ayuda provino de los duques, de la que son testimonio los escudos de sus armas que se encuentran repartidos en el arco del coro y bóvedas de la iglesia, y el hecho de que los duques fueran declarados patronos de todos los conventos de la Orden en la provincia.

De su historia posterior destacan los acontecimientos pertenecientes al siglo XIX, que marcan su progresiva ruina. En tiempos de la Guerra de la Independencia fue adaptado para alojar a las tropas francesas, a resultas de lo cual el edificio fue maltratado ya que de la iglesia, por ejemplo, fueron arrancados los herrajes para ser usados como piezas de artillería. Tras la retirada francesa, la comunidad de mínimos volvió a alojarse en él hasta el inicio del Trienio Constitucional, cuando el convento se vio afectado por las disposiciones desamortizadoras, vendiéndose a don Antonio Otaolaurruchi.

En 1835 se verificó la incautación definitiva del edificio que fue entregado nuevamente a quienes quince años antes lo habían comprado.