Kim se unió a la guerra de guerrillas contra la ocupación japonesa en 1927 y luchó junto a Kim Il-sung en Manchuria.
Se unió al Ejército Popular de Corea en 1932.
Desertó del mismo para escapar a la Unión Soviética de la conquista japonesa en 1940.
Vivió en Jabárovsk, donde se reunió con Kim Il-sung, formando parte de la 88.ª Brigada de Fusileros Independiente soviética.
Regresó a Corea, junto con el Ejército Rojo.