La torre del lado suroeste es anterior a la fundación del palacio y según se cuenta dio cobijo a San Francisco de Asís en su peregrinación a Santiago de Compostela en los inicios del siglo XIII.
[1] En 1520 sufre su primera destrucción al iniciarse un incendio que destruye completamente el palacio.
Hasta 1704 no se vuelve a reedificar.
En los años 1950 era propiedad de Margarita Navia-Osorio y Rodríguez San Pedro -quien lo había heredado de su padre el Marqués de Santa Cruz de Marcenado- y se lo legó en testamento a su hijo varón Ramón Cavanilles y Navia-Osorio.
El palacio se encuentra en proceso de rehabilitación.