[1] Nacido en Anniston, Alabama,[2] Harman empezó a tomar lecciones de piano a los cuatro años.
Más adelante se interesó por la armónica y otros instrumentos.
En la década de 1970 se mudó al sur de California, donde compartió escenario con artistas como Big Joe Turner, John Lee Hooker y Muddy Waters.
En 1977 formó su propia banda, conocida como la James Harman Band, con la que grabó variedad de álbumes y realizó giras por su país.
[1][3] Se le detectó cáncer de esófago en etapa cuatro y tuvo que iniciar un tratamiento con quimioterapia en febrero de 2021.