El edificio original fue construido durante el Renacimiento y se conserva en muy buen estado.
El primer castillo fue construido por Prégent Frotier a finales del siglo XV, en tierras que habían pertenecido a Nicolas Turpin de Crissé en el siglo XIII, y que pasaron a formar parte de la baronía de Preuilly en 1412.
En 1699, la baronía Château d'Azay-le-Ferron fue adquirida por Louis-Nicolas Le Tonnelier de Breteuil.
Cuando ella murió en 1952, legó la casa y el parque a la ciudad de Tours.
Existen aún pocas alineaciones de ese temprano jardín y se preservan cuidadosamente.
En 1995, la Universidad François-Rabelais en Tours creó un huerto de perales y manzanos en una parte del parque.
En 2008, se agregó un camino que trazó la historia de la rosa desde la época romana hasta el presente.