También tomó parte en el asalto a la armería real de Savannah para conseguir pólvora para el ejército revolucionario.
Cuando los británicos tomaron Savannah, Milledge escapó a Carolina del Sur, donde los patriotas americanos casi lo cuelgan de la horca creyéndolo espía.
En 1778 sirvió como asistente del gobernador John Houstoun en una malograda campaña contra los británicos en el este de Florida.
También reorganizó el ejército estatal, y construyó una carretera desde Georgia a Tennessee, pasando por territorio cheroqui.
En 1806 fue elegido como senador nacional del Partido Demócrata-Republicano para ocupar la vacante dejada por la muerte de James Jackson.