Goltz se unió a la Armada Prusiana en 1853, y se convirtió en Fähnrich zur See (guardiamarina) en 1859, en Kapitänleutnant (lugarteniente) en 1865 y Korvettenkapitän (capitán de corbeta) en 1870.
Después como capitán de mar (Kapitän zur See), realizó varios viajes como comandante de la corbeta Augusta a Sudamérica (Brasil) y las Indias Occidentales.
Fue entonces jefe del Escuadrón del Mediterráneo durante el conflicto en Egipto y en 1883 se convirtió brevemente en comandante del Escuadrón alemán de Asia Oriental (Ostasiengeschwader) antes de ser nombrado Konteradmiral (contralmirante) y jefe del almirantazgo imperial alemán.
Cinco años después fue nombrado Vizeadmiral (vicealmirante) y nombrado comandante (Marinetstationschef) de la Estación Naval del Mar del Norte (Marinestation der Nordsee) en Wilhelmshaven.
En 1889 se convirtió en almirante al mando del Kaiserliches Oberkommando der Marine (Alto Mando Naval) y en 1892 Goltz finalmente se convirtió en Almirante.