Su abuelo Albert Friedrich Speer y su bisabuelo fueron también arquitectos.
En su niñez temprana compartió con sus padres en el Berghof de Hitler quienes eran invitados frecuentes y pertenecientes al círculo íntimo del estadista nazi.
Estudió arquitectura en la Universidad de Múnich y se especializó en urbanismo ecológico.
ganó su primer premio internacional en 1964 y abrió el despacho de arquitectura AS&P (Albert Speer & Partners) en Fráncfort del Meno, el cual es actualmente uno de los más grandes del país, con más de cien empleados.
[4] Se casó con la actriz germana Ingmar Zeisberg en un matrimonio que duró hasta su muerte cuarenta y cinco años más tarde, tuvieron un hijo Albert Speer III, que posteriormente seguiría los pasos de sus ascendientes estudiando Arquitectura; emigró de su país natal y de él no se tiene registro.