[1] En origen era, junto con la iglesia de Nuestra Señora del Pilar, un único conjunto, correspondiente al castillo medieval.
Este palacio tenía un patio central de caballerizas, de donde partía una escalera monumental que daba acceso a una galería con arcos desde donde se distribuían las habitaciones del palacio.
En el castillo existía una ventana, aún conservada, por la cual los duques de Villahermosa podían escuchar la misa sin tener que mezclarse con el resto del pueblo.
Se conserva una reja de forja en un hueco del torreón oriental.
En el interior se encuentra el paso o zaguán, con forjado de rollizos de madera con molduración gótica tardía, que da acceso al gran patio, del que se conservan, parcialmente destruidos y tabicados las alas sur y oeste; el ala oriental está formada por el muro de la epístola de la iglesia, y en el norte observamos en su estructura la parte posterior del palacio.