En 1930, a los 16 años, dejó los estudios y trabajó como camarero cantante en el Van Cortlandt Inn, en el Bronx.
Sirvió en la Fuerza Aérea de los Estados Unidos en Camp Blanding, Florida, siendo posteriormente enviado a Inglaterra.
Tras la guerra, Ross tomó el puesto de cómico anunciante en el Billy Gray's Bandbox en Hollywood.
Allí fue observado por Nat Hiken y Phil Silvers, los cuales estaban planificando un programa llamado You'll Never Get Rich (posteriormente conocido como The Phil Silvers Show), e inmediatamente quedaron encantados con el talento cómico de Joe.
Tras la finalización de The Phil Silvers Show en 1959, Nat Hiken produjo Car 54, Where Are You?, y dio a Ross el que iba a ser su papel más famoso, el del Patrullero Gunther Toody del 53 Distrito de Nueva York, junto al actor Fred Gwynne.