Spencer comenzó su carrera de baloncesto universitario con los Loyola Greyhounds.
Promedió diez puntos, 3,1 asistencias y 3,4 rebotes en 23 partidos antes de sufrir una lesión en la cadera y ser nombrado para el equipo All-Freshman de la Patriot League.
Regresó para los últimos cinco partidos de la temporada y promedió 10,2 puntos.
[4] Fue transferido a los Scarlet Knights de la Universidad Rutgers,[5] donde jugó una temporada en la que promedió 13,3 puntos, 3,8 rebotes, 3,1 asistencias y 2 robos de balón por partido.
El 4 de enero de 2025 se enfrentó por primera vez a su hermano Pat, que jugaba para Golden State Warriors, en un encuentro NBA.