Este caballero moriría a su vez en 1668, siendo vendida la casa por su viuda, Luisa de Góngora, al noble y negociante Manuel José Cortizo en marzo de 1673.
Durante su estancia en España en 1721-1722 el célebre memorialista y diplomático Saint-Simon visitó el palacio, teniendo muy buena relación con la duquesa consorte de Osuna, a quien había conocido la década anterior en París.
[11] A finales del siglo XIX solo restaba del primitivo palacio y sus jardines extendidos por toda la manzana, un edificio de don pisos en la zona noroeste de la manzana.
[17][18]En este momento el palacio sería descrito en el libro Los Salones de Madrid.
El palacio, en su forma original contaba con un amplio jardín que se extendía hasta la actual calle de San Marcos.
Posteriormente, a finales del siglo XIX se trataba de un palacio de forma sencilla y dos alturas, contando la superior con balcones.
En esta etapa final el palacio tenía vuelta entre la calle del Piamonte y la de la Libertad.