Johansson inició su carrera como juvenil a los 14 años en el IFK Viksjö de Suecia, donde permaneció solo un año, pasando en 1995 al IF Brommapojkarna, donde realizó una buena campaña, lo que llamó la atención del AIK Estocolmo, donde pasó en 1997.
Comenzó su etapa profesional en el Bayern de Múnich, llegando al segundo equipo del conjunto alemán, jugando un total de 53 partidos en dos temporadas, partiendo posteriormente al 1.
Johansson debutó en la derrota por 4 a 1 contra el Liverpool FC y posteriormente se convirtió en un jugador inamovible.
En 2005, "Nisse", pasó como jugador libre al Leicester City, donde disputó en dos temporadas un total de 75 partidos, anotando un solo gol en la Football League Championship.
En el año 2007, Johansson firmó con el AIK Estocolmo, convirtiéndose en referente del equipo, jugando un total de 369 partidos, anotando 21 goles.