Bismarck se unió al ejército en 1910 y tomó parte en la I Guerra Mundial.
Durante los años de entreguerras sirvió como oficial en el Reichswehr.
En 1941 fue promovido a comandante de la recién formada 20.ª División Panzer.
Condujo la división durante la Operación Barbarroja en el frente oriental como parte del Grupo de Ejércitos Centro.
En enero de 1942 fue transferido a África para servir en el Afrika Korps como comandante de la 21.ª División Panzer.