Joseph asistió a la Escuela de Bruce en Newcastle, donde Robert Stephenson también había sido alumno.
En 1823, Robert Stephenson, en colaboración con su padre George, había instalado sus talleres de locomotoras en la ciudad.
Además, Newburn estaba en un extremo de Wylam Waggonway, donde la visión de las famosas locomotoras Puffing Billy y Wylam Dilly debió haber inspirado el entusiasmo del joven Joseph como ingeniero.
[12] Los dos ferrocarriles más pequeños se convirtieron en la recién establecida División Norte del GWR.
Armstrong permaneció en su puesto[13] (aunque ahora dependía de Daniel Gooch, que tenía su sede en Paddington[14]), y se establecieron unos talleres mayores en Wolverhampton para reemplazar las antiguas instalaciones del S&BR.
[8] Todas ellas habían sido suministradas por fabricantes independientes, pero la Junta del GWR deseaba que en un futuro próximo se construyeran locomotoras de ancho estándar en Wolverhampton.
[17] Al llegar a Swindon, Armstrong se embarcó en sus amplios cometidos con un celo que finalmente resultaría demasiado incluso para su robusta salud.
Sin embargo, le llegaron demasiado tarde, y murió de un ataque al corazón en Matlock Bath mientras viajaba hacia el norte.
Al mismo tiempo, "... es justo decir que [Armstrong] dejó el Great Western mejor provisto de máquinas para cada clase de tráfico que cualquier otro ferrocarril en Gran Bretaña, y probablemente en el mundo".