Esposo de la pintora Maria Sibylla Merian (1647-1717), y padre de las también pintoras Johanna Helena Herolt (1668–1723) y Dorothea Maria Graff (1678–1743).
Tras regresar a Núremberg, visitó Venecia y Roma.
Hasta 1670 la pareja vivió en Frankfurt, y posteriormente se trasladó a Núremberg.
Entre 1670-1681, Graff trabajó en la publicación de las obras de su esposa, "Der rupsen begin, voedsel en wonderbaare veranderingen" ("La oruga, maravillosa transformación y extraña alimentación floral") (1679 a 1683) y el "Nuevo libro de las flores" (1680).
Tras Johann Andreas Graff, surgió en Núremberg una serie de importantes vedutistas que han legado a la posteridad una imagen vívida y completa de la ciudad imperial y sus alrededores a finales del siglo XVII y en el siglo XVIII.