Su nombre completo era Harold John Smith, y nació en Petoskey, Míchigan, aunque pasó buena parte de su primeros años en Massena, Nueva York.
Graduado en la Massena High School en 1936, su madre era una costurera, y su padre trabajaba en la fábrica local de Alcoa.
Una vez graduado, Smith trabajó desde 1936 a 1943 como disc jockey y locutor para la emisora de radio WIBX en Utica (Nueva York).
Una vez más interpretó a Otis en el telefilm de 1986 Return to Mayberry.
Más adelante, Smith utilizó a su personaje en anuncios comerciales de la organización Mothers Against Drunk Driving (MADD), al igual que en el vídeo musical de Alan Jackson "Don't Rock the Juke Box".
A finales de los años 1960, Smith tuvo también un show matinal infantil en la emisora televisiva KTLA, "The Pancake Man," patrocinado por IHOP.
En 1962 dio voz a Taurus en la serie Space Angel, personaje de acento escocés que, según el libro Space Patrol, missions of daring in the name of early television, posiblemente dio a Gene Roddenberry la idea para la figura del ingeniero de Star Trek, Mr.
En 1981 retomó su papel de Búho y dio voz a Winnie-the-Pooh en el corto Winnie the Pooh Discovers the Seasons, reemplazando a Sterling Holloway, que le había dado voz durante muchos años.
Así, colaboró en campañas de numerosas compañías tales como 3 Musketeers, United Van Lines, Hickory Farms, Toyota, Gigante Verde, General Mills, Mattel, Kellogg's.
Los productores de "Adventures in Odyssey" llegaron incluso a preparar su personaje para el momento en que Smith falleciera.