Esta Casa-Palacio sigue el modelo de las casas palaciegas de El Puerto de los siglos XVII y XVIII, conocidas como de Cargadores a Indias. Sus propietarios, comerciantes con América, se hicieron construir auténticos palacios donde residir y desde donde gestionar su actividad comercial y que, con el paso de los siglos, se han convertido en uno de los elementos más representativos de la arquitectura civil portuense e imagen del ennoblecimiento que vivió la ciudad en estos siglos.
Su propietario Juan Vizarrón Araníbar, originario de Navarra, llegó para establecerse en la ciudad al amparo de su tío Juan de Aranibar y Alberro, caballerizo del duque de Medinaceli, regidor, capitán y cargador a Indias fue uno de los hombres más poderosos de la ciudad en el S. XVII. Sin herederos Juan de Aranibar inició a su sobrino Juan en el comercio colonial hasta convertirse en uno de los cargadores a Indias más poderosos e influyentes en la carrera de Indias. Una actividad de la que obtuvo una gran fortuna que le proporcionó, además de prestigio social, poder político.
Durante la primavera y el verano de 1729 y 1730 su casa fue alojamiento de la Casa Real y del Gobierno de España. Aquí firmó, el 31 de mayo de 1729, Felipe V el decreto por el que la ciudad pasó de ser jurisdicción de la casa ducal de Medinaceli a la Corona. Un hecho histórico por el que se concede a Vizarrón, como privilegio, portar cadenas en su fachada, como así reza en un documento conservado en el Archivo Histórico Municipal de El Puerto.
La Casa de las Cadenas, como se le conoce popularmente, destacaba por sus amplios salones, capilla, molino de aceite, bodega y embarcadero privado. En la portada principal se conserva el escudo del propietario flanqueado por dos sirenas.