Tres años más tarde firma su primer contrato con el US Palaiseau donde juega entre 1995 y 1997 antes de dar el salto a la Ligue 1 con Le Havre francés con 20 años de edad donde permaneció hasta el 2000.
En Borgoña, junto a Philippe Mexès en la defensa gana con su club la Copa de Francia.
Su compañero en la defensa del Newcastle, Titus Bramble, tuvo mala fama por cometer errores clamorosos y se les denominó: 'el Show en directo de los Chuckle Brothers'.
Sin embargo, la investigación llevada a cabo por Stevens publicó después dos aclaraciones.
Por un lado dijo de Souness: "Queremos dejar claro que las incoherencias no existen dentro de los motivos alegados por Graeme Souness a Quest en relación con su papel en los traspasos cubiertos por la investigación durante su tiempo como entrenador del Newcastle United FC y ni la Premier League ni Quest tienen duda al respecto".
Llegaba para sustituir al defensa Cleber Anderson que se había lesionado 6 meses.
Boumsong jugó el campeonato de Europa sub-21 en Suiza en 2002, donde llegó con Francia a la final y la perdieron ante la República Checa.
Boumsong hizo su debut con Francia el 20 de junio de 2003 contra Japón y formó parte del equipo que disputó la Euro 2004 aunque solo hizo una breve aparición durante un partido como sustituto.
Se estableció a sí mismo como un comienzo regular con la selección nacional en la clasificación para la Copa Mundial 2006, pero no se le pudo ver en acción durante la competición porque Lilian Thuram regresó al equipo.
Boumsong apareció solo en un partido sustituyendo a Samir Nasri durante el Francia-Italia en la fase de grupos.
El mismo Nasri entró en el campo 16 minutos antes, sustituyendo a Franck Ribéry por lesión.