Durante sus primeros 175 años, el palacio fue la residencia privada de varias familias aristocráticas.
En 1674 el palacio pasó a ser, durante los siguientes 144 años, propiedad de la familia Radziwiłł.
Tras su muerte, su hijo Karol Stanisław Radziwiłł I empezó la renovación del palacio y arregló sus alrededores.
Alquiló el palacio a Franciszek Ryx para instalar allí un teatro que representaba obras y realizaba bailes de máscaras.
El historiador Norman Davies afirma que este documento fue "la primera constitución de su clase en Europa.
Zajączek había perdido una pierna en el Río Berézina y era llevado a todas partes por sus ayudantes en un sillón.
A partir de 1818 el palacio fue reconstruido en estilo clasicista por el arquitecto Chrystian Piotr Aigner (1756–1841),[1] quien amplió el palacio (sus alas más bajas alcanzaron la línea de edificios de Krakowskie Przedmieście), construyó una nueva Gran Escalera entre el cuerpo principal del edificio y su ala norte, remodeló las fachadas del palacio, y redecoró las habitaciones de la primera y segunda plantas del cuerpo principal del edificio.
Aigner tuvo a dos asociados: Camillo Landini, quien escupió los cuatro leones de piedra que guardan el patio del palacio hacia Krakowskie Przedmieście, y el pintor italiano Mikołaj Monti.
Aigner está unido inseparablemente con el Palacio del Virrey (en polaco Namiestnikowski), actual Palacio Presidencial, por ser el creador de su exterior clasicista, que se conserva actualmente sin modificar.
A finales del siglo XIX, se demolió el Palacio Tarnowski, situado a la derecha (sur) del edificio, y entre 1899 y 1901 se construyó en su lugar el lujoso Hotel Bristol, diseñado por Władysław Marconi.
En 1918 el edificio fue ocupado por las reconstituidas autoridades polacas, y la renovación del palacio se confió a Marian Lalewicz.
Según lo restauró Lalewicz, el edificio fue muy admirado por los habitantes y visitantes de Varsovia.
Durante las obras, se renovó con mucho cuidado la decoración rococó de las habitaciones que dan hacia el jardín.