Atleta, representó a Suiza en los campeonatos universitarios de Europa celebrados en Roma.
En 1934 fundó la orquesta de swing The Magnolians junto al saxofonista Eddie Brunner, siendo su inspiración los músicos Glenn Miller y Benny Goodman.
En esa época hizo arreglos de canciones schlager para artistas como Vico Torriani, Lys Assia o el trío Geschwister Schmid.
Baumgartner compuso para distintas productoras, pero su colaboración con Erwin C. Dietrich fue particularmente exitosa.
También escribió música swing para espectáculos de cabaret, colaborando con artistas como Margrit Rainer, Ruedi Walter, Helen Vita, Erich Kästner, Werner Wollenberger, o Harro Lang, a quien acompañaba al piano.