[1] El Palacio, del que actualmente solo quedan restos, se halla en la parte alta de la antigua villa amurallada, separado del arrabal por su cerramiento posterior el cual se extendía hacia el sudoeste, no quedando de estas murallas nada hoy en día.
Aún se conservan las torres esquineras de la parte sur y algunos muros, así como una ventana geminada en el número siete de la calle Virgen del Carmen.
Construido a base de mampostería y ladrillo, poseía planta baja abovedada, patio central al que se accedía por el portal de entrada en el lado norte, y estancias bellamente ornamentadas.
[2] Hay documentos que acreditan que tenía una planta baja abovedada y la sala de armas (con una rica decoración renacentista; con friso pintado al temple sobre placas de ladrillo, conservándose parte del mismo, así como restos de la techumbre, en Nueva York, en la Hispanic Society of America), en el primer piso.
El torreón, de planta circular y tres pisos unidos por escalera de caracol, ha sido declarado BIC y, restaurado en 1999, alberga una exposición sobre el monumento.