Durante el siglo XVII el puerto de la Orotava se consolidó como importante enclave comercial a partir de la exportación de vinos a Inglaterra y otros países. Esta situación tan benigna propició que a principios de siglo los dominicos de San Benito de la Orotava fundasen un nuevo convento en el puerto. Para realizar la fundación usaron un gran solar, que abarcaba desde el mar hasta el muelle pesquero, donde iniciaron las construcciones pertinentes en el año 1608, siendo éstas terminadas en 1659. El complejo conventual constaba de hospicio, refectorio, iglesia y una ermita dedicada a San Pedro Telmo, advocación bajo la cual estaba el convento.

El convento, que contaba con una comunidad de aproximadamente 16 religiosos, prosperó muy pronto debido a las múltiples donaciones que recibía, muchas de ellas producto del culto a la imagen de San Telmo, patrón de los marineros. En 1650 el provincial de la orden elevó el convento a priorato, además las posesiones del convento aumentaron llegando a tener tierras en localizaciones como La Montañeta o Punta Brava, que reportaban importantes beneficios económicos.

En diciembre de 1778 se produjo un incendio que dejó gravemente dañado el convento. Las obras de reconstrucción se iniciaron en 1781 y duraron hasta 1786, siendo dirigidas por el arquitecto Bethencourt y Castro, que intentó aprovechar los restos del antiguo convento para realizar la nueva fábrica. En 1835 el convento cerró sus puertas al ser aplicados los decretos de exclaustración de ese mismo año, que suprimían la práctica totalidad de conventos masculinos españoles. Tras la posterior desamortización, que en 1837 puso el edifico en manos del estado, el convento fue usado como escuela de primaria y sala consistorial del ayuntamiento.