El nombre de Vejle deriva del danés antiguo wæthel, que significa "vado".
Vejle llegó a ser un importante centro comercial, cuya actividad perduraría hasta el siglo XVII, comerciando con Flensburg y Lübeck, en lo que actualmente es Alemania.
Desde el siglo XVI, la ciudad fue azotada varias veces por incendios y epidemias de peste.
Varias de las antiguas fábricas textiles se utilizan ahora como oficinas o centros culturales.
Es también el lugar de nacimiento del futbolista internacional danés Thomas Gravesen, jugador del Celtic FC y que ha pasado, entre otros clubes, por el Real Madrid, y de Allan Simonsen, que jugó en el FC Barcelona.