A finales del siglo XVII este palacio quedó sin habitar, y fue utilizado en tiempos de guerra para acuartelar tropas, hasta que a finales del siglo XIX lo restauró el VI marqués de Chiloeches (1854), Luis de Porras, Zorrilla de San Martín, hijo de Francisco María de Porras y Ortiz (1815), casado con una posible heredera del palacio, Basilisa Zorrilla San Martín.
Se trata de una construcción que organiza la fachada entre dos grandes y voluminosas torres rematadas en pequeños pináculos.
Estas torres, macizas y de cuidada factura, ven rota su rotundidad por ventanas rematadas en frontón renacentista apeado sobre ménsulas.
Los dos grandes cubos sirven de marco y punto de máxima atención del cuerpo central, que se encuentra ligeramente retranqueado, respecto a la alineación de aquellos y se remata en un arco escarzano que cobija el monumental escudo y la cuidada portada.
En los escudos que se localizan en la fachada principal y en la parte superior de la puerta del muro junto al parque, se exponen las armas completas de los Zorrilla de San Martín.