El estilo musical del grupo ha sufrido una notable evolución a través de los años, comenzando como una banda lo-fi bajo una mezcla entre Oi!, Pub rock, Post y Hardcore punk, debutaron con la canción adelanto «Stupid Americans» en noviembre de 1979, la canción aparecería en verano del 1980 en el EP recopilatorio Utreg Punx, publicado por Rock Against Records de Róterdam.
Poco después llegó la publicación de su primer 7" All Corpses Smell the Same.
A lo largo de las décadas fueron desarrollando gradualmente su actual obra, altamente intrincada, experimental, folk y progresiva con inspiración en los subgéneros más vanguardistas del Jazz.
[1] La banda ha realizado con éxito colaboraciones con artistas muy diversos, como la banda anarquista británica Chumbawamba (a veces utilizando el nombre Antidote), los Dog Faced Hermans (un antiguo miembro de esta banda, Andy Moor, es actualmente parte de The Ex), y con el difunto violonchelista de avant-garde Tom Cora a comienzos de los años 1990, colaboración esta última que dio como frutos el álbum Scrabbling At the Lock en 1991 y el subsiguiente And the Weathermen Shrug Their Shoulders en 1993.
[1] The Ex protagonizaron el documental Building a Broken Mousetrap (2006), dirigido por Jem Cohen.