Murió en Weiz, Steiermark, Austria, a la edad de 65 años, a donde había sido transferido como policía, y está enterrado en el Cementerio de Weiz, Steiemark, Austria.
Su hijo, Arnold Schwarzenegger, declaró en la película Pumping Iron que no asistió al funeral de su padre, pero más tarde se retractó de esto explicando que fue una historia que él había tomado de un boxeador para hacerlo parecer como si él pudiera impedir que su vida personal interfierese con su entrenamiento atlético.
Cuando era joven, era corpulento y elegante, un deportista que amaba la música.
Schwarzenegger sirvió en Polonia, Francia, Bélgica, Ucrania, Lituania y Rusia, su unidad era el batallón 521 de la policía militar (motorizada), formada en Viena con la ayuda de la Ordnungspolizei (la policía alemana).
Su unidad de 110 hombres fue primero agregada al decimocuarto ejército durante la invasión de Polonia, y más adelante fue parte del Grupo Blindado 4 (después Ejército Blindado 4) que era parte del Grupo de Ejércitos del Norte en la Unión Soviética.