El Palacio de Aranibar es, actualmente, la más antigua casa de cargadores a Indias que se conserva en El Puerto. Su propietario, Juan de Aranibar y Alberro, natural de San Sebastián y descendiente de familia de origen navarro, vino a El Puerto, como militar y caballerizo mayor del Duque de Medinaceli. Considerado el hombre más poderoso y acomodado de la ciudad, a mediados del siglo XVII, ocupó el cargo de regidor y fundó el Hospital de Mujeres del Amparo y San Sebastián. Emparentado con los Vizarrón, su presencia en El Puerto fue el origen de una de las familias más importantes de cargadores a Indias: los Vizarrón Aranibar.
Pese a construirse en pleno esplendor Barroco, 1660, conserva en su decoración exterior un aire clásico, casi renacentista.
El edificio sigue el modelo de las casas de cargadores a Indias, distribuida en torno a un patio central porticado y estructurado en tres plantas. El primer nivel se dedicaba a almacenes, la planta principal a vivienda y una tercera planta para servicio doméstico. Además contaba con un entresuelo destinado a oficina y almacén, construido aprovechando el desnivel que tiene la casa por la cuesta de la Bajada del Castillo.
La vivienda cuenta con dos fachadas: la principal, que abre a la Plaza de Alfonso X el Sabio, y otra que da a la Bajada del Castillo.
La fachada es simétrica y monumental. Construida con sillares de piedra, destaca por la gran sobriedad de sus elementos decorativos que se concentran, fundamentalmente, en la portada, quedando el resto de vanos enmarcados por unas sencillas molduras.
La portada está compuesta por un gran vano adintelado y flanqueado por columnas toscanas pareadas que se levantan sobre altos pedestales. En el dintel, el escudo de la familia, hoy difícil de identificar, y dos inscripciones laterales con el año de construcción del edificio. Cerrando este primer nivel, un friso donde se alternan triglifos y metopas y una cornisa corrida que abre el segundo cuerpo de la fachada.
La planta de la vivienda se abre al exterior con un gran balcón central con antepecho de hierro forjado. El vano está enmarcado entre pilastras jónicas y rematado por un frontón triangular partido que albergaba el escudo familiar. Una amplia cornisa, decorada en todo el frontal de la fachada, separa esta planta de la zona de servicios. Esta última planta, con cinco grandes ventanales al exterior, cierra el edificio, que se cubre con tejas árabes.