Era el medio hermano del famoso héroe de Gettysburg, John Buford, pero nunca alcanzó la distinción militar de su hermano.
Buford se graduó de West Point en 1827 y sirvió durante ocho años en la artillería, y en 1835 renunció al servicio para convertirse en ingeniero.
[1] A partir de entonces se dedicó a la manufactura de hierro y a la banca en Rock Island, Illinois, y se convirtió en el presidente de Rock Island y del Ferrocarril Peoria Railroad, que quebró cuando no se pagaron bonos sureños de gran cuantía al iniciarse la guerra de Secesión.
[2] Durante el resto de la guerra, Buford sirvió como comandante del Distrito de Arkansas Oriental.
Un primo, Abraham Buford, era un general del Ejército de los Estados Confederados.