La audición de Klein consistió en un set de improvisación con Willard sobre dos chicos en un club nocturno, que tuvo el éxito suficiente como para que Second City contratara a Klein y Willard.
En 1974, apareció en un episodio de Paul Sand in Friends and Lovers.
En 1979, Klein fue nominado para un Premio Tony al Mejor Actor en un Musical por su papel en They're Playing Our Song .
En 1985, protagonizó el episodio Wordplay de The New Twilight Zone.
Klein presentó a Monty Python Live en Aspen, un espectáculo de reunión y tributo para los cinco miembros sobrevivientes de Monty Python, en un especial que apareció en HBO en 1998.
También interpretó dos canciones que él mismo escribió: Fabulous '50s y Middle Class, Educated Blues.
Su próximo álbum, Mind Over Matter (1974), incluyó una extensa discusión sobre el escándalo de Watergate y otra canción, la canción principal, sobre un niño que recurrió al humor para hacerse popular.
Su siguiente álbum, New Teeth (1975, Epic/CBS Records), presentó el trabajo en el escenario del comediante en temas como Mother Isn't Always Right y su transposición de Seven Words You Can't Say On Television de George Carlin, titulado Six Clean Words You Can Say Anywhere, con material grabado en estudio, como grabó 2 álbumes Continental Steel y On the Bayou.