Empezó su carrera futbolística en el club de la non-league Leytonstone FC.
En 1953 se fue en calidad de cedido al Walthamstow Avenue, también de la non-league, hasta que finalmente en 1954 debutó como profesional con el Leyton Orient.
Aun así, no empezó a tener un puesto regular con el equipo hasta la temporada 1958/1959, debido a lesiones en la rodilla y espalda.
En dicha temporada marcó diez goles, haciendo una dupla delantera junto a David Herd.
Tras la salida de Dave Bowen, capitán del club, fue Groves quien empezó a encabezar la plantilla.