Almqvist y su hermano Niklas (cuyo nombre artístico es Nicholaus Arson) formaron The Hives en 1993.
De acuerdo a la biografía de la banda, atrajeron la atención del mánager/productor/compositor Randy Fitzsimmons (cuya existencia ha sido puesta en duda, aunque la banda siempre ha mantenido que es real), quien lanzó la banda a la fama.
Almqvist es conocido por ser particularmente animado en las presentaciones en vivo, lo cual ha dado a The Hives el título de "La Mejor Banda del Mundo en Vivo", según la revista Spin Magazine.
Algunas de las cosas que hace Almqvist en las actuaciones en vivo incluyen sus gritos, saltos, el mezclarse con el público y decir cosas arrogantes de la banda entre las canciones.
Lo hicieron en sueco y lo llamaron "Jag skriver inte på nått", que traducido sería "No voy a firmar nada".