Taylor fue elegido fiscal en 1854 y se trasladó a Warren, Ohio, en 1861.
Taylor fue elegido como republicano para el cuadragésimo sexto Congreso para cubrir la vacante causada por la dimisión de James A. Garfield.
Fue presidente de la Comisión Judicial (Quincuagésimo primer Congreso), pero declinó ser candidato a la reelección en 1892.
En 1849, Taylor se casó en Ravenna con Harriet M. Frazier, que murió en 1876.
La primera, Harriet Taylor Upton, fue una famosa sufragista y escritora.