El duque mandó construir el palacio a Bernardo Buontalenti (1570-1574) en el lugar más cercano posible a la residencia ducal del palacio Pitti.
Esta es la primera obra documentada del arquitecto, que después sería escenógrafo y artista de la corte.
Tras la prematura muerte de Juana, los amantes se casaron en 1579.
Pero el idilio duró poco, y ambos murieron en la villa medicea de Poggio a Caiano en 1587 con una diferencia de un solo día, lo que ha hecho creer que fueron envenenados.
Mientras tanto, el edificio había sido cedido al Hospital de Santa Maria Nuova, y fue entonces cuando se pintaron los grutescos en la fachada, obra de Bernardino Poccetti (1579-1580).