Nacido en Chicago, Illinois, su primer álbum, My Son, the Folk Singer (1962), se convirtió en el disco más rápidamente vendido de su época.
En vez de compensarle económicamente, Mark Goodson-Bill Todman Productions nombraron a Sherman productor del show.
Además, en 1961 produjo otro concurso para Al Singer Productions, Your Surprise Package, emitido por la CBS y presentado por George Fenneman.
Sherman vivía en Brentwood, Los Ángeles, y era vecino de Harpo Marx, que le invitó a cantar sus parodias en fiestas con sus amistades.
La fama de "Sarah Jackman" (así como del álbum "My Son the Folksinger") aumentó cuando se supo que el Presidente John F. Kennedy cantaba la canción en el hall de un hotel.
Sin embargo, Lerner y Sherman acordaron que "Fairfax Lady" se representara bajo estrictas condiciones: solamente en un teatro del distrito Fairfax de Los Ángeles, sin fotografías o grabaciones visuales y sin edición discográfica.
Durante su breve auge, las parodias de Sherman fueron tan populares que él tuvo al menos un imitador contemporáneo: My Son the Copycat fue un disco de parodias interpretadas por Stanley Ralph Ross y escritas por Ross y Bob Arbogast.
El concierto, grabado en un disco con el título de Peter and the Commissar, también incluía "Variations on 'How Dry I Am'", con Sherman como director, y "The End of a Symphony".
Los últimos discos de Sherman fueron más satíricos, metiéndose con las protestas estudiantiles ("The Rebel"), las deudas de los consumidores ("A Waste of Money", basada en la canción "A Taste of Honey"), y la brecha generacional ("Crazy Downtown" y "Pop Hates the Beatles").
Para Scott Paper Company se creó el disco Music to Dispense With, distribuido a sus vendedores y clientes.
[6] En 1965 Sherman había estrenado dos discos que no llegaron al Top 50, y en 1966 el sello Warner Brothers prescindió de sus servicios.
Su último álbum para la compañía, Togetherness, se lanzó en 1967 con malas críticas y peores ventas.
Así mismo, dio voz a Dr. Seuss on the Loose, su último proyecto antes de fallecer.