Nació en una familia judía en Okny, gobernación de Jersón, Imperio ruso.
Dirigió un famoso seminario en la Universidad Estatal de Moscú durante 45 años.
Entre sus alumnos figuran los matemáticos Endre Szemerédi y Aleksandr Kirílov.
Trabajó extensamente en la enseñanza de la matemática, en particular la educación por correspondencia.
Guelfand fue galardonado con el Premio Orden de Lenin tres veces por sus investigaciones.