Nació en el Condado de Queens, Nuevo Brunswick en 1823, se trasladó a London en el Alto Canadá en 1836, donde trabajó de carpintero.
Se trasladó a Ingersoll estableciendo una empresa de construcción y posteriormente un aserradero.
En 1867 fue elegido para representar Oxford South en la legislatura de Ontario entre 1867 y 1871.
Oliver había ya dimitido en 1874 porque su compañía había vendido madera al gobierno provincial, hecho que no se permitía a los miembros del parlamento pues tenían prohibido efectuar negocios con el gobierno.
Lo reeligieron en una elección celebrada más adelante en ese mismo año.