Matriculado en el College of New Jersey (ahora la Universidad de Princeton) a los 14 años, se graduó en 1797.
Después de ser admitido en la abogacía, Rush ganó fama nacional como orador y abogado exitoso.
Como auditor del Tesoro, Rush sirvió como un consejero y amigo al presidente Madison durante la Guerra anglo-estadounidense de 1812.
En 1823, Rush negoció con Bretaña la propuesta de que los dos países emitieran una declaración conjunta contra la participación francesa en las rebeliones en las colonias españolas.
Sin embargo, Bretaña no aceptó la exigencia estadounidense de repúblicas independientes en las Américas, resultando en la Doctrina Monroe.
En 1836, el presidente Andrew Jackson lo mandó a Inglaterra como comisario para asegurar la herencia legada al gobierno por el británico James Smithson.
Cuando sus negociaciones fueron interrumpidas por el derrocamiento del rey Luis Felipe, fue uno de los primeros diplomáticos en reconocer la nueva Segunda república francesa.