Gavin se graduó en la West Point en 1929.
Fue el Primer Comandante del 505.º Regimiento de Paracaidistas.
Cuando tomó el mando de la 82.ª División Aerotransportada en la Segunda Guerra Mundial, Gavin era el Mayor General más joven en comandar una División desde la guerra de Secesión de Estados Unidos.
Participó en las operaciones Overlord y Market Garden en Europa, en 1944.
Sus investigaciones llevaron a que en la guerra de Vietnam se utilizaran helicópteros por primera vez en la historia militar, debido a su semejanza con un escuadrón de caballería moderno.