El conocido como Palacio de Purullena fue mandado a construir por Agustín Ortuño Ramírez, Marqués de Villareal y Purullena, nacido en Nápoles, propietario de buques y exportador de fruta a Nueva España.
En 1750 comienza a construir la casa-palacio de la calle Cruces esquina con la calle Pozuelo sobre una antigua construcción. La casa sigue el modelo de las Casas Palacio de Cargadores a Indias distribuida en cuatro plantas y con torre mirador haciendo esquina.
Con fachada principal a la calle Cruces, a la que se accede a través de una amplia portada labrada en mármol y rematada con el escudo del marqués. Fachada principal a la que se asomaban el patio, a través de la casapuerta, y en el segundo piso, su gran balcón central con barandal de forja y las ventanas que abrían al exterior los distintos salones: de baile, de los retratos y el de las batallas.
Por la parte trasera: el jardín y las grandes galerías de la planta principal, capilla, comedor, bodegas y aljibes.
Destaca de este gran conjunto su magnífico patio, la gran escalera imperial - de acceso al segundo piso -, la torre vigía de planta cuadrada y decoración en su cubierta interior, las vigas de madera de nogal y azulejos portablas de uno de sus salones.
En 1862 este palacio albergó a la Reina Isabel II, tras su estancia en El Puerto. Las riquezas de este palacio rococó fueron referidas en sus crónicas de viajes reales por Ponglilioni, cronista de esta visita regia a la ciudad.
Actualmente el edificio es propiedad del Ayuntamiento de El Puerto de Santa María y alberga algunas dependencias municipales.