Hijo de Francis Martin Drexel (1792-1863) y Catherine Hookey (1795-1870), nació en Filadelfia en 1826.
Casado con Ellen B. Rozet (1832-1891), tuvo los hijos siguientes: A la edad de 13 años comenzó a trabajar en la casa bancaria fundado tres años antes por su padre, el banquero estadounidense de origen austríaco Francis Martin Drexel.
Tres años después, en 1871, a instancias de Junius Spencer Morgan de Londres, Drexel se convirtió en el mentor del problemático hijo de Junius, John Pierpont Morgan de Nueva York, y entró en una nueva asociación con el joven Morgan, formando Drexel, Morgan & Co.
La firma creó un mercado nacional de capitales para empresas e industrias, un mercado que había existido anteriormente solo para los ferrocarriles y los puertos y canales.
Con la creación de Drexel, Morgan & Co., Drexel Harjes convirtió a la filial francesa en una firma bancaria internacional con oficinas en Londres, Filadelfia, Nueva York y París que posteriormente se transformaron en JP Morgan & Co.