Era hijo del duque de Brunswick, coronel y miembro del consejo de guerra, Werner von Holstein (1784-1857).
Ya durante su entrenamiento como oficial, compuso la ópera Zwei Nächte in Venedig (Dos noches en Venecia), así como canciones y baladas.
En 1853 llegó a Leipzig, donde estudió contrapunto con Moritz Hauptmann y recibió clases de piano de Ignaz Moscheles.
Después de permanecer en Roma, Berlín y París, se hizo cargo de la administración de la Sociedad Bach en Leipzig y fue miembro fundador de la Fundación Bach (Bach-Vereins.
En Leipzig, su esposa Hedwig, hija del alcalde, Rudolf Julius Salomon, creó el llamado Holstein-Stift, una fundación para apoyar a los estudiantes de música sin recursos.