El origen de este antiguo cuartel se remonta a comienzos del siglo XVII cuando tenía como propietario a Juan de las Heras.
Un inmueble que pasó a convertirse en almacén de pertrechos para la Armada de las Galeras Reales de España que tenía -desde el siglo XVI hasta su traslado a Cartagena en 1699- como fondeadero y zona de invernada el rio Guadalete. Un rio seguro donde reparar y preparar la flota para el combate.
Tras el traslado de las galeras de El Puerto, el que fuera antiguo almacén de galeras se reconvirtió, a comienzos del siglo XVIII, en cuartel de caballería. Con el paso de los años compartió espacio con un cuartel de infantería y parte de su entorno se convirtió en su plaza de armas, hoy Plaza del Polvorista.
Este cuartel ha desempeñado un especial protagonismo en momentos históricos como la Guerra de la Independencia (1808-1814), en él se llegó a albergar tropas francesas tras la toma de la ciudad por el ejercito francés en febrero de 1810 y donde permanecieron hasta agosto de 1812. Igualmente, durante la Guerra Civil Española (1936-1939), tropas italianas que participaron del lado franquista ocuparon el cuartel del Polvorista.
En su etapa final fue refugio de familias pobres que vivieron en chozas en su interior, bodega de la empresa Osborne y, actualmente, tras una gran reforma es la sede de la Concejalía de Cultura y Teatro Pedro Muñoz Seca.