Nacido en Brooklyn, Nueva York, Gale comenzó a tocar la guitarra a la edad de 12 años.
[1] A pesar de que se graduó en química en la Universidad de Niágara, Gale estaba decidido a seguir una carrera musical y comenzó a hacer acompañamientos para estrellas como Maxine Brown, The Drifters, y Jesse Belvin.
Pronto comenzó a atraer la atención de King Curtis y Jimmy Smith, quien comenzó a recomendarlo para el trabajo de estudio.
[2] Llegó a ser conocido primero como músico de sesión en la década de los años 60.
Entre los muchos artistas con los que grabó están la cantante Aretha Franklin, Bob James, Paul Simon (Gale desempeña un papel secundario en la película de 1980 One-Trick Pony, escrita y protagonizada por Simon), Lena Horne, Quincy Jones, Bob Marley, Nina Simone, Peter Tosh, Grover Washington, Jr., Herbie Mann, Esther Phillips, Joe Cocker, Carly Simon, Van Morrison, Al Jarreau, Dave Grusin, Lee "Scratch" Perry, Paul Douglas[3] y Billy Joel.