A principios del siglo XVII, el duque Francesco I d'Este encargó el actual edificio al arquitecto Bartolomeo Avanzini.
Giovanni Lazzoni, Nicolas Régnier, Salvatore Rosa, y Ludovico Lana también contribuyó a la colección de arte del palacio.
El palacio también es conocido por sus vistas al jardín que recuerdan a Versalles y su fantasiosa Peschiera o pecera.
[5] La restauración del piano nobile en 2001 ha permitido que el palacio se utilice igualmente como espacio para exposiciones de arte contemporáneo, fusionando pasado y presente.
Los relieves dorados que anteriormente enmarcaban las obras de arte favoritas del duque albergarán varias piezas minimalistas donadas por la Colección Panza hasta 2103.