Jugó durante cinco temporadas, en las que marcó un total de 14 goles en 101 partidos.
En 1963 se fue traspasado al Stoke City FC por otras cuatro temporadas, donde jugó 196 partidos.
En 1967 fue fichado por el Sunderland AFC para los tres años siguientes.
Tras hacer un breve paso por el Cape Town City FC y por el Hellenic FC en Sudáfrica, con el que ganó la National Football League; volvió al Reino Unido para jugar en el Crewe Alexandra Football Club.
Tras su retiro, Palmer volvió a Sudáfrica como entrenador del Durban United FC y del Berea Park FC.