Su banda de mediados del decenio de 1980, John McCrea and the Roughousers, grabaron las canciones "Love You Madly" y "Shadow Stabbing", que más tarde fueron regrabadas por Cake (ambas en el disco del 2001 Comfort Eagle).
Esta banda incluía a Michael Urbano (batería), Pete Costello (bajo) y Robert Kuhlmann (guitarra).
[2] Su primer lanzamiento en solitario fue un sencillo en vinilo de dos caras llamado Rancho Seco.
Además, es conocido por cantar hablando (Sprechgesang) las letras en muchas de sus canciones, a veces en una especie de monotonía energética, como en los éxitos "The Distance" y "Never There".
Ha colaborado con Ben Folds, cantando en el tema "Fred Jones, Parte 2" en el disco del 2001 Rockin' the Suburbs e interpretando la canción en vivo con Folds y en el disco de Fold del 2002 Ben Folds Live.