Los frailes descalzos franciscanos se asentaron en Sanlúcar de Barrameda en 1640 de la mano de la casa de Medina Sidonia. El duque Manuel Alonso Pérez de Guzmán dejó estipulado en su testamento, con fecha de 1 de junio de 1634, que se fundase un convento de franciscanos descalzos en la población. En 1636 muere el duque Manuel y su hijo y heredero, Gaspar Pérez de Guzmán, quien continua con el deseo de fundar un convento de descalzos de su padre.

Así en 1640, tras varias conversaciones con el ministro provincial de la órden, los descalzos llegan a Sanlúcar de Barrameda tomando como convento de forma provisional a la antigua ermita de San Blas. El 16 de enero se produjo la toma de posesión, y el 15 de mayo se firmaron las condiciones de patronato, en las que se estipulaba la futura construcción de un convento y por las que el convento recibiría una renta anual de 200 ducados a cambio de estar bajo patronato perpetuo de la casa de Medina Sidonia.

El permiso para construir un convento descalzo en Medina Sidonia, se obtuvo en Madrid en las Cortes celebradas el 8 de junio de 1643. Aunque las cosas habrían de esperar, ya que debido a los problemas entre Felipe IV y Gaspar Pérez de Guzmán, el cual era acusado de conspiración a la corona, Sanlúcar de Barrameda dejaba de ser propiedad de la casa de Medina Sidonia en 1645 y pasaba a manos de la monarquía.

Debido a este problema, la comunidad de frailes hubo de vivir en el convento de San Blas hasta 1684, fecha en que se mudaron al nuevo convento de San Diego. Las obras habían comenzado en 1656, y la iglesia, encomendada a San José terminó de construirse entre los años 1692 y 1699.

El convento de San Diego cierra puertas en 1835, año en que la comunidad de frailes es obligada a abandonar el convento tras la aplicación de la exclaustración decretada por Mendizábal.