Palacio de los duques de Frías

Este caballero moriría a su vez en 1668, siendo vendida la casa por su viuda, Luisa de Góngora, al noble y negociante Manuel José Cortizo en marzo de 1673.

Durante su estancia en España en 1721-1722 el célebre memorialista y diplomático Saint-Simon visitó el palacio, teniendo muy buena relación con la duquesa consorte de Osuna, a quien había conocido la década anterior en París.

[11]​ A finales del siglo XIX solo restaba del primitivo palacio y sus jardines extendidos por toda la manzana, un edificio de don pisos en la zona noroeste de la manzana.

[17]​[18]​En este momento el palacio sería descrito en el libro Los Salones de Madrid.

El palacio, en su forma original contaba con un amplio jardín que se extendía hasta la actual calle de San Marcos.

Posteriormente, a finales del siglo XIX se trataba de un palacio de forma sencilla y dos alturas, contando la superior con balcones.

En esta etapa final el palacio tenía vuelta entre la calle del Piamonte y la de la Libertad.

La quinta según el Plano de Teixeira (1656).
El palacio en 1831 según la maqueta de León Gil de Palacio .
El palacio en su estado y etapa final como palacio de los duques de Béjar. Al fondo de la imagen puede verse el palacio del marqués de Camarasa .
La fachada del palacio a las calles del Piamonte (arr.) y del Barquillo (abajo derecha) según la reforma de Manuel de la Peña y Padura en 1807.
Sala de retratos del palacio en 1898, cuando era residencia del duque viudo de Béjar, Luis Manuel Roca de Togores , I marqués de Asperillas .