Kim Yang-gon empezó su carrera política como vicedirector del departamento de Relaciones Internacionales del partido en 1986, y durante este tiempo él también supervisó las relaciones con Japón como líder de la Asociación de la Amistad Coreano-japonesa.
Recibió el grado más alto de la Orden Kim Il-sung en 1995.
Fue promovido a director en 1997 y visitó China en múltiples ocasiones durante su gestión.
Su primera gestión como líder de las relaciones con Corea del Sur fue una visita a Seúl en noviembre del mismo año para discutir medidas de reacercamiento con el ministro de Unificación Lee Jae-jeong.
En diciembre de 2015, la agencia noticiosa de Corea del Norte informó que Kim Yang-Gon falleció en un accidente automovilístico.