El financiero francés Louis Guilhou Rives adquirió los terrenos que ocupa el palacio a la duquesa de Pastrana para establecer su residencia en Chamartín de la Rosa.
[2] Según Menéndez Pidal, Napoleón se aposentó en este palacio durante su corta estancia en Madrid durante la Guerra de la Independencia.
Esto evidencia el temor del general francés, que no se asentó en un lugar más preeminente.
Menéndez Pidal mostró su interés en que no se derribara y se dedicara a un museo que conmemorara tal fecha histórica.
Solicitó en 1974 que fuera declarado monumento nacional.