Jones comenzó su carrera en el modesto Crewe Alexandra, donde se asentó rápidamente como el lateral derecho del equipo.
Pronto hizo notar su labor defensiva, y para la temporada 1991-92, el entrenador del Liverpool, Graeme Souness, buscaba un jugador de su perfil, de modo que por 300.000 libras, Jones se mudó al equipo de Anfield Road.
En las siguientes temporadas, Jones siguió siendo parte importante del equipo, pero con la llegada del jugador anglo-irlandés Jason McAteer, Jones fue reconvertido a otra posición.
Tras 1996, Jones sufrió una grave lesión y se vio pronto acosado por ellas.
Con la llegada del entrenador Gerard Houllier, este se propuso deshacer todos los vestigios de jugadores como Robbie Fowler, Jamie Redknapp, Steve McManaman y Jones, entre otros.