Sin embargo, su formación musical como compositor y orquestador, será fundamentalmente autodidacta.
Su primera obra en ser tocada en público será, en 1917, Carillons, para piano a cuatro manos, en un concierto-homenaje a Erik Satie del 6 de junio de 1917, en la «Salles Huyghens», en el que intervinieron Georges Auric y Juliette Meerovitch.
Ese mismo, 1917, con Auric, Arthur Honegger y Satie, ya había fundado el grupo de los «Nouveaux jeunes», que será bautizado más adelante, en 1919, por el crítico musical Henri Collet como «Groupe des Six» (Auric, Durey, Honegger, Milhaud, Poulenc y Tailleferre).
Acabada la Primera Guerra Mundial, inicia relaciones con casi todos los artistas modernos: con los poetas y escritores Guillaume Apollinaire, Max Jacob, Jean Cocteau, Blaise Cendrars, Léon-Paul Fargue, Paul Éluard, Louis Aragon; con los pintores, Georges Braque, Fernand Léger, Lhote, Kisling, André Derain, Juan Gris y Pablo Picasso, de quien llegará a ser un buen amigo y será muchas veces invitado en Bateau Lavoir (su estudio).
Vivirá varios años en Saint-Tropez, donde compone en 1923 su única opera: L'Occasion (con un libreto basado en Prosper Mérimé) y posteriormente, en 1929, se casa Anne Grangeon.
Después de la Segunda Guerra Mundial, vuelve a componer y continua con su compromiso político, como evidencia la elección de los textos para su música vocal: Lorca, Langston Hughes y Hồ Chí Minh.
También será Vicepresidente de la «Association française des musiciens progressistes» (creada en 1948), en la que la denominación progresista debe considerarse en su significado social, como compromiso social y político, y no como un programa estético o de técnica musical.
La SACEM le premia con el «Prix National de la Musique Française» en 1960.
Abarca todos los géneros musicales, salvo el ballet, pero tiene especial predilección por la música vocal y coral.
No se dejó influir por ningún sistema, siempre ansioso de expresarse en libertad.
Buscó siempre renovarse, y se define a sí mismo como la continuidad ataviada con aspectos variados.