Comenzó su educación en una escuela secundaria en Leeds en 1756, pero esta terminó en 1760 con la muerte de su padre.
Fue aprendiz de tejedor, leyendo los clásicos cuando el tiempo lo permitía, hasta que su hermano mayor, Joseph Milner , le brindó una oportunidad.
Pero Milner siguió siendo ambicioso y, en busca de un ascenso, deseaba regresar a Cambridge.
En estos artículos Milner mostró tres cosas: competencia en matemáticas, desconfianza hacia la filosofía francesa y adhesión a la mecánica newtoniana inglesa.
En 1782 se estableció la cátedra jacksoniana de filosofía natural y el sindicato eligió a Milner como profesor inaugural, cargo que conservó hasta 1792.
La ley del Parlamento de 1807 para abolir la esclavitud le debe mucho a su asociación.