Estudió matemáticas en la escuela libre del filósofo Pierre-André Leguay de Prémontval y, más tarde, allí mismo se hizo profesor de matemáticas.
La escuela cierra en 1744, y Goussier decide seguir una carrera como ilustrador.
Fue el primer ilustrador en ser contratado para el proyecto, en 1747, realizando numerosas litografías.
Goussier es nombrado como tercer enciclopedista, después de Diderot y Jean le Rond d’Alembert.
En la obra de Diderot, Jacques le fataliste et son maître, realizó un autorretrato, a través del personaje La Gousse.