Encargó el proyecto en 1752 a Ventura Rodríguez quien presentó unos planos en los que se vislumbra la influencia de la escuela romana y del nuevo Palacio Real de Madrid.
Inspirado en el proyecto de Ventura Rodríguez, Serrano proyectó un edificio unitario que integraba las distintas partes que formaban el conjunto y lo organizaba en torno a un patio y un vestíbulo con perfecta continuidad visual; para ello se valió en lo decorativo de ciertos toques neoclásicos.
En 1797 adquirió el inmueble María de la Concepción Valenzuela, marquesa de la Sonora, quien mandó reconstruir y ampliar el palacio al arquitecto Evaristo del Castillo.
Este planteó una profunda remodelación, no sólo en la estructura sino también en el programa decorativo de sus salones.
Allí se instaló el denominado en su época Ministerio de Gracia y Justicia.