Esta casa-palacio del Almirante Valdivieso responde a la tipología de "Casa de Cargadores a Indias", que tanta repercusión tuvo en la ciudad durante los siglos XVII y XVIII.
El autor de este edificio fue el arquitecto Pedro Mateos de Grajales, quien lo levantó durante el último tercio del siglo XVII, y a quien también se deben otras importantes construcciones de la ciudad como el extinguido Convento de Santo Domingo.
El edificio se asienta sobre una parcela de planta rectangular de unos 640 metros cuadrados. Con dos plantas, se organiza alrededor de un patio central principal que articula las distintas dependencias del palacio.
Del exterior destaca su portada que centra la fachada y está compuesta por un primer cuerpo formado por el vano de ingreso, adintelado y enmarcado por la típica moldura rectilínea, pares de columnas de orden toscano, friso con triglifos y una repisa sobre ménsulas, elemento que limita esta planta con el cuerpo superior de la portada. En esta planta superior sobresale un balcón central, al cual se abre otro hueco adintelado que se muestra recercado por un aplacado de piedra almohadillada. Finalmente sobre el balcón, aparece un tercer cuerpo, de menores dimensiones, donde figura el escudo familiar centrado en un frontón curvo roto y coronado por un pequeño frontón recto superior.
En su interior destaca el patio central, de planta cuadrada y dos plantas de altura, cerrado en su planta baja y en sus cuatro frentes por sendos pórticos de arcos de medio punto realizados en piedra tallada vista y que descansan sobre columnas de orden toscano de fuste liso. Alrededor de estos arcos de piedra se disponen galerías perimetrales que se cubren con los tradicionales techos de vigas de madera vista, y se complementa el patio con un diseño de solería muy acertado.
De especial interés también son los restos de pinturas murales que se conservan en el edificio, recientemente restauradas, y que se ubican en lo que debió ser la antecámara de los dormitorios. El conjunto pictórico puede fecharse entre los años 1687 ó 1688.