Presidente del partido político Frente Patriótico para el Progreso (FPP), se desempeñó como vicepresidente y como primer ministro de François Bozizé.
[3] Se presentó como candidato a presidente de la República Centroafricana por primera vez en las elecciones de 1981, perdiendo ante Dacko (que fue derrocado unos meses más tarde).
Allí Goumba obtuvo menos del 2 % de los votos, pero en las elecciones presidenciales de 1993 logró su mejor resultado, llegando en segundo lugar, pero siendo derrotado por Ange-Félix Patassé en una segunda vuelta, en la que Goumba obtuvo aproximadamente el 46 % de los votos.
[11] El tribunal excluyó a otros siete candidatos, aunque seis de ellos más tarde pudieron postularse.
Según el portavoz presidencial Alain-George Ngatoua, esto se debió a que la constitución adoptada en diciembre de 2004 no incluía la figura de vicepresidente.
También agregó el despido no estaba relacionado con la calidad del trabajo de Goumba.