En 1942 y 1943 Mangelsdorff estudió clarinete en el conservatorio superior de Fráncfort.
Como miembro de un Hot Club ilegal acabó detenido por la Gestapo.
En 1949 retornó a Fráncfort y decidió dedicarse al jazz de manera profesional.
En 2006 fue premiado con la Medalla Goethe del estado de Hessen.
En 2008 recibió la Bundesverdienstkreuz (Orden del mérito de la República Federal Alemana).