En 1976, se postuló para el Senado de los Estados Unidos, derrotando al titular republicano John Glenn Beall Jr.
Sarbanes fue reelegido cuatro veces y cada vez recibió no menos del 59% de los votos.
No buscó la reelección en 2006, cuando fue sucedido por su compañero demócrata Ben Cardin.
[1] Sarbanes era conocido por su estilo discreto, a menudo evitando el centro de atención durante sus treinta años de carrera en el Senado.
En 2002, Sarbanes copatrocinó la Ley Sarbanes-Oxley, que se cita como su legislación patrocinada más destacada.