Nacido en Oakland, California, tras varios papeles menores en películas producidas por Warner Bros., Anderson consiguió su gran oportunidad en el film de 1941 Navy Blues, protagonizado por Martha Raye y Ann Sheridan, cinta a la que posteriormente siguieron The Body Disappears y The Male Animal, en las cuales actuó con Henry Fonda y Olivia de Havilland.
Otras de sus películas más destacadas son Battleground, Give My Regards to Broadway, Excuse My Dust, Island in the Sky, The Benny Goodman Story, Kelly and Me, Joe Butterfly, My Man Godfrey, I Bury the Living, Sunrise at Campobello, Hold On!
Anderson fue también actor teatral, con un trabajo considerable en el circuito de Broadway, participando, entre otras piezas, en The Caine Mutiny Court-Martial, en la cual interpretó el papel de Dr. Bird.
Fue el único intérprete de la obra teatral que también actuó en la versión cinematográfica, The Caine Mutiny, protagonizada por Humphrey Bogart.
Herbert Anderson se retiró de la actuación en 1982, tras someterse a cirugía cardiaca.