Se forman en Edimburgo, influenciados por nombres como Black Sabbath, Judas Priest, Motörhead, UFO, Led Zeppelin, Rush o Budgie.
La formación original incluía dos guitarristas, John Mortimer y Ed Dudley, más el vocalista Gary Lettice, el bajista Robin Begg y el batería Nick Brockie.
Lanzan su disco debut The Nightcomers en 1981.
A partir de 1984 y tras algunos cambios en la alineación, con el disco No Man's Land, el guitarrista John Mortimer reformula la banda, desempeñándose como guitarrista y cantante desde entonces, Mortimer ha permanecido como líder y único miembro original de Holocaust al presente.
A lo largo de su historia Holocaust han incorporado elementos del rock progresivo, thrash metal e incluso post-punk en su música; desde el año 2003 el grupo se mantiene como trío, con Scott Wallace y Mark McGrath acompañando a John Mortimer.