La orden de frailes dominicos intentó varias veces asentarse en Cádiz, pero no fue hasta 1630 que lo lograron, al establecer un hospicio. Pasados los años, y a partir de la compra de varias casas y solares en la localización conocida como "del boquete", fundan un convento el 14 de julio de 1635. El lugar era conocido por ser el sito donde asaltantes anglo-holandeses habían arrojado la imagen de la Virgen del Rosario, durante el ataque a Cádiz en 1596. El permiso del obispo fue expedido el 5 de septiembre de 1643, y el del duque de Medina Sidonia el 16 de noviembre de 1645, éste último permiso se debía a la cercanía del convento respecto a las defensas de la ciudad.

La construcción del convento comenzó a fines de 1645 con los maestros de obras Juan Ruiz y Pedro Martínez, la iglesia comenzó a ser construida más tarde, el 21 de junio de 1652, por los alarifes Antón Martín Calafate y Bartolomé Ruiz. Las obras del templo llegan a su fin en 1666. El convento fue un centro de referencia cultural, ya que desde 1681 se constituyó como centro de estudios de Gramática, Artes, Teología Escolástica y Moral, para eclesiásticos sino también para seglares. También fue un punto de paso muy importante para los misioneros que acudían a Indias, o que regresaban a España.

La vida del convento llegó a su fin en 1835 cuando la aplicación de los decretos de exclaustración lo suprimieron definitivamente.