Ubicado en pleno casco histórico de la ciudad y en una de las arterias principales de la trama urbana portuense de principios del S. XX. Su fecha de construcción se remonta al año 1929.
Su arquitectura sigue el modelo de la nueva corriente regionalista que trajo consigo, en Andalucía, la exposición Iberoamericana de Sevilla, inaugurada en mayo de 1929, y que dejó una profunda huella en el paisaje urbano de la capital hispalense y en ciudades de su entorno.
Este edificio perteneció al afamado Elías Ahúja, nacido en Cádiz en 1836. Su figura y obra han pasado a la historia por su intensa labor como filántropo y benefactor de las clases más desprotegidas de la sociedad en general y de la portuense, a la que dedicó buena parte de su obra social.
Ahúja, en 1922, fundó la "Beneficencia Particular Elías Ahúja" en Sevilla, Cádiz y El Puerto de Santa María, a la vez que comenzó a promover la construcción de hospitales, dispensarios, comedores, escuelas y casas cuartel para la Guardia Civil; benefactor de presos, viudas, huérfanos, conventos y sanatorios a los que proveía de alimentos y equipamientos y sustentó, por muchos años, la institución de "boy-scouts españoles" en El Puerto de Santa María que tuvo su sede en este edificio.
El edificio fue incautado durante la Guerra Civil y rehabilitado, en los años 80, como Biblioteca Municipal - Centro Cultural, con el nombre de Alfonso X El Sabio y, actualmente, lleva el nombre de Rafael Esteban Poullet, artista multidisciplinar nacido en El Puerto en 1935.
Estructurado en cuatro plantas y del que destaca su fachada simétrica y centrando el conjunto una amplia portada que da acceso a un amplio zaguán o distribuidor desde el que se accede a la sala de exposiciones temporales y donde se encuentra la exposición permanente sobre Colón y El Puerto. En la segunda planta destaca su balcón corrido, en todo el entorno del edificio, y sus amplios ventanales.
Este edificio municipal alberga la biblioteca, salas de estudio, hemeroteca y una sala de exposiciones temporales, así como, la exposición permanente sobre Cristóbal Colón y Juan de la Cosa. Una muestra donde se expone la réplica del Mapa Mundi que realizó y firmó el cartógrafo Juan de la Cosa, en el año 1500 en El Puerto de Santa María. Original que se encuentra en el Museo Naval de Madrid.