Nacido en Tolón, Francia, sus padres eran cantantes aficionados y actores, y posibilitaron que Mayol debutara en el teatro a los seis años de edad.
En 1895 fue a París, al barrio de Montparnasse, donde empezó una carrera en el mundo del espectáculo que se prolongó más de cuarenta años.
En sus actuaciones adoptó, como parte de su personalidad teatral, modos afeminados.
Poco después de finalizar la Primera Guerra Mundial, Mayol adquirió un terreno en Tolón y lo donó al club deportivo local Rugby-Club Toulonnais para construir un estadio.
Mayol nunca se casó, y circularon muchas historias sobre sus relaciones homosexuales, incluyendo entre ellas un intento de seducir a Maurice Chevalier.