A mediados del siglo XVIII, el solar del actual museo (que incluía varias casas y amplios huertos hasta el actual Banco de España) fue adquirido por la duquesa de Atri, quien se casó en secreto con Alessandro Pico della Mirándola (conocido por "abate Pico"), hijo ilegítimo de la conocida saga italiana.
Hacia 1783 sufrió una primera reforma: el duque ordenó eliminar tales adornos, agrandar ventanas y balcones, enlucir los muros, y adosó un pequeño pórtico con columnas a la puerta de la Carrera de San Jerónimo.
De hecho, el palacio toma su nombre debido a que era la residencia madrileña del duque.
El palacio conservó sus lujosos interiores, que incluían un gran salón de baile y capilla privada, hasta bien entrado el siglo XX; de hecho en 1966 merecieron un reportaje fotográfico en la revista Blanco y Negro.
Él buscaba un edificio distinguido en un lugar privilegiado y con gran flujo turístico, lo que cuadraba con este palacio, con vistas a la Plaza de Neptuno y cercano a los grandes museos nacionales de la capital.
Tristemente, ceder Villahermosa como sede del Museo Thyssen-Bornemisza implicó despojar al Prado de espacios adicionales que le eran muy necesarios; una deficiencia que dicho museo no resolvería hasta casi 20 años después mediante la ampliación al claustro de los Jerónimos.
Un pequeño pórtico dórico enmarca su entrada orientada a la Carrera de San Jerónimo, actualmente precintada al haberse elegido como acceso único el de la fachada opuesta, que cuenta con un jardín cerrado más adecuado para recibir a los visitantes.