Steenberg se graduó del Conservatorio de Música de Oslo y estudió en el extranjero en Leipzig, Berlín, y Copenhague.
[1] Por algunas décadas, enseñó la polifonía vocal y contrapunto en el Conservatorio de Música de Oslo, en el colegio para maestros, y en la escuela para personas ciegas en Oslo.
En 1927 publicó un himnario no autorizado que fue un alternativo innovador al himnario oficial de 1926.
Estaba basado en el himnario de Ludvig Matias Lindeman y fue editado por autoridades musicales incluyendo a Eyvind Alnæs, Ole Mørk Sandvik, y Arild Sandvold.
El himnario de Steenberg fue adoptado por entusiastas como Ingar Nilsen y Asbjørn Hernes.