Nacido en 1820 en Bridport, Vermont y se mudó con sus padres a Canton, Nueva York en 1825.
Allí asistió a escuelas comunes y estudió derecho.
Fue admitido en el colegio de abogados en 1846 y estableció una práctica en Cantón.
En 1848, se trasladó al nuevo estado de Wisconsin, instalándose en Fond du Lac, donde reanudó su práctica legal.
En 1874, sin embargo, Bragg pudo ganar suficientes delegados para evitar que Eldredge fuera renombrado para un séptimo mandato, aunque Bragg no se benefició, ya que la nominación fue para Samuel D.