Mittag-Leffler nació en Estocolmo, hijo del director de escuela John Olof Leffler y de Gustava Wilhelmina Mittag, cuyo apellido con el tiempo añadiría al paterno.
Se matriculó en la Universidad de Upsala en 1865, completando su doctorado en 1872 y siendo docente en la universidad ese mismo año.
Fue también director de la Stockholm Nation entre 1872 y 1873.
Mittag-Leffler tuvo también éxito en los negocios como empresario, pero el colapso económico de Europa acabó con su fortuna en 1922.
Una leyenda urbana dice que Alfred Nobel decidió no establecer un Premio Nobel de Matemáticas por una supuesta rivalidad personal o incluso sentimental con Mittag-Leffler, pero no hay base histórica alguna.