[1] Nacido en Malone, Nueva York Sumner se mudó a Michigan en 1843 con sus padres, quienes se establecieron en Richland, Michigan.
Asistió a las escuelas comunes y Prairie Seminary, en Richland.
Luego fue admitido en el colegio de abogados en 1868 y comenzó a ejercer en Kalamazoo, Michigan.
Se mudó a Oconomowoc, Wisconsin en 1868 y ejerció la abogacía.
Se mudó a Waukesha, Wisconsin en 1870 y continuó ejerciendo la abogacía.