Francisco Sarandeses señala la existencia de una importante casa solar que poseía este linaje en Luces.
En este conjunto se integraban otras edificaciones auxiliares, entre ellas un lagar, hecho que atestigua la enorme piedra adintelada con un texto grabado que ahora sirve como remate de la chimenea, en la actual sala principal del edificio.
En ella, una inscripción remite a su ubicación en la entrada de un almacén para fabricar sidra, sin duda integrado en el complejo del palacio, pero cuya ubicación exacta no se ha localizado: "ALMACEN PARA FABRICAR SIDRA COSTEADO / POR DON BERNARDO JOSE VICTORERO Y UDIAS / AÑO DE 1829".
La última etapa constructiva es una reconstrucción historicista con el objetivo de embellecer la parte del edificio que daba a los jardines.
Según los informantes locales, a causa de sus múltiples deudas, hipotecó el Palacio y en 1895 su familia se hizo cargo de su cancelación para no perder la propiedad, que posteriormente le devolvieron.
Finalmente, en 1920 sus nuevas deudas llevaron a una subasta pública de todas las fincas y el Palacio, que por entonces ocupaban 36 hectáreas.
Leonor era viuda y con un hijo, Ángel Sierra Martínez, mientras que José María regresaba de una afortunada emigración a México.
Estos nuevos dueños realizaron mejoras en el edificio y en los cierres perimetrales, así como en la capilla.
En 2018, esta sociedad procede a la venta del palacio y sus instalaciones anexas al Grupo hotelero Globhi, su propietario en la actualidad.
Las dos situadas más al sur debieron ser las originales, y son dos arcos rebajados, sobre impostas lisas que daban paso a un vestíbulo abierto, que comunicaría directamente con el pequeño patio central techado y la escalera.
A la derecha de estos, se abre un arco de factura posterior, más ancho y similar a los que se abren en la fachada norte, que actúa como ventanal para el gran salón del palacio.
Sobre este arco se sitúan tres ventanas en la parte superior, también a juego y construidos con la misma factura que los elementos de la fachada norte.
Está caracterizada por una escalinata doble que comunica el suelo con la planta superior en dos tramos.
La puerta que se abre en la planta baja comunica la recepción con el resto del conjunto hotelero.
Tras franquear la entrada principal del palacio se encuentra el recibidor, lo que antiguamente sería el zaguán, que se abre a la planta superior en un espacio a modo de patio interior techado.
La finca está cerrada por un muro almenado con forma de muralla, meramente ornamental y abierto al este por un arco rebajado de piedra que da acceso directo al edificio principal del palacio.
Es un ejemplo de pequeña iglesia rural, con su antepórtico y su espadaña con campana para llamar al culto, donde, dado el reducido tamaño del templo, llama la atención la existencia de un púlpito en el exterior.
En su interior había un retablo pintado, cuyas pinturas fueron trasladadas a la capilla de San Roque, en Lastres.
El estudio de paramentos del edificio indica que hay al menos cuatro fases constructivas: - La construcción fundacional.
en 1818 con doña Juana García Jovellanos, natural de Gijón y emparentada con el famoso ilustrado.