Weiß estudió filología alemana, historia y filología inglesa en la Universidad de Múnich y la Universidad de Tubinga, respectivamente.
Desde 1961 hasta 1997 trabajó como colaborador en el Instituto de Historia Contemporánea (en alemán, Institut für Zeitgeschichte (IfZ)) en Múnich, y desde 1972 también como director adjunto del archivo de dicho instituto.
La temática principal de su trabajo se centraba en la historia del nazismo, así como en la historia contemporánea.
Conjuntamente con Wolfgang Benz y Hermann Graml fue el editor de la enciclopedia de referencia sobre el nacionalsocialismo (en alemán, Enzyklopädie des Nationalsozialismus).
Asimismo, fue editor del diccionario biográfico sobre el Tercer Reich (en alemán, Biographisches Lexikon zum Dritten Reich).