Rutherford siguió los pasos de su padre y, en 1836, accedió como cirujano a la brigada marina que participó en las guerras carlistas.
Ejecutó esta tarea con éxito y obtuvo un cargo en el consulado de Shanghái, adonde marchó en 1846.
Fue durante años presidente de la Royal Geographical Society y participó en diversas comisiones.
Escribió varias obras, siendo uno de los primeros en avivar el interés por el arte japonés en Inglaterra.
A Dictionary of Arts, Sciences, Literature, and General information (en inglés) (11.ª edición).