Ernest Boulanger nació en una familia de músicos.
Ernest Boulanger estudió en el Conservatorio de París y fue ganador del Gran Premio de Roma a los 19 años.
En 1842, comenzó a hacerse un nombre en París a la vez como compositor de óperas y director de orquesta.
En 1871, Ernest Boulanger se convirtió en profesor de voz en el conservatorio.
Dentro del mundo cultural parisino, Ernest Boulanger mantuvo relaciones de amistad con Charles Gounod, Jules Massenet, Camille Saint-Saens y William Bouwens.