Clifford jugó para su padre en North Country Union High School en Newport (Vermont).
Clifford asistió a la Universidad de Maine en Farmington, donde jugó baloncesto universitario por cuatro años.
En sus últimas dos temporadas, fue capitán del equipo y también fue nombrado mejor jugador defensivo.
También fue entrenador en jefe en la Universidad Adelphi durante cuatro temporadas, lo que lleva a su equipo a cuatro participación en el II Torneo de la NCAA División y cuatro temporadas con 20 victorias consecutivas, que fue el primer entrenador en la historia de la escuela con back-to-back temporadas de más de 20 victoria.
Luego fue asistente de Stan Van Gundy con el Orlando Magic.