[1] Nacido en Royalton, Nueva York Williams siguió un curso académico y estudió derecho en Rochester.
Fue elegido para el Senado del estado de Wisconsin en 1868 y reelegido en 1870.
Fue elegido presidente pro tempore del Senado para las sesiones de 1871 y 1872.
Fue derrotado en las elecciones de 1882 mientras buscaba un sexto mandato en el Congreso.
Su segunda esposa fue Mary M. Noggle, hija del juez David Noggle, su primer socio legal y uno de los padres fundadores de Janesville.