La familia Arbelaiz destacó en la posición de la vida política y social de Irún, dadas sus estrechas relaciones con la Corona Española.
En sus extremos se alzan dos torres cuadradas y además posee una portada barroca con dos columnas dóricas.
El Palacio ha llegado a albergar una antigua colección privada de obras de arte que incluía cuadros atribuidos a pintores como Carracci, van Dyck, Rembrandt y Murillo.
Construido en el siglo XVI, su autoría se le atribuye al italiano Tiburzio Spannocchi, conocido ingeniero militar al servicio de los reyes Felipe II y Felipe III.
En septiembre de 1936, durante la guerra civil española, se vio afectado por el incendio que destruyó parte del casco de la localidad, aunque posteriormente fue reconstruido.