El edificio está instalado en los muros de las Atarazanas. Mandadas edificar en 1252 por el rey Alfonso X en terrenos extramurallas junto al río, cercanos a las torres del Oro y de la Plata y a solo un metro sobre el nivel del agua, para facilitar el traslado de las embarcaciones. Su finalidad fue abastecer de galeras y bajeles a la Real Marina de Castilla. En el siglo XV dejan de utilizarse este recinto como astilleros debido a que que los navíos se construyen de mayor tamaño y no era posible ubicarlos en la inicial estructura utilizándose a partir de entonces como almacén de pertrechos para las flotas de Indias, pescaderías municipales, lonjas de mercaderes, depósitos de azogue, maderas, cinabrio, etc. A finales del XVI, algunas de sus naves pasan a ser dependencias de la Aduana. A principios del XVII se reutilizan cinco de sus 17 naves para dar cobijo al Hospital de la Santa Caridad y a la cofradía de San Jorge, que se encargaba de recoger los cadáveres de ahogados y ajusticiados en Sevilla. En el siglo XVIII, bajo el reinado de Carlos III, se consolida su función militar pasando a ser sede de la Real Maestranza de Artillería.