Nacido en una familia de políticos, se dedicó desde joven en este campo llegando a ser en 1849 gobernador del Estado de Virginia, cargo que ostentaría hasta el año 1852.
Cinco años más tarde sería nombrado Secretario de la Guerra, cargo que ostentaría hasta que se unió al Ejército de los Estados Confederados.
Desde el comienzo de su dirección en el ejército confederado, demostró no tener muchas dotes de estratega, sufriendo pérdidas y derrotas como la de la batalla de Carnifex Ferry, aunque Floyd culpó al general Henry A. Wise alegando que él no había acudido en su ayuda.
En enero de 1862 se le dio el mando de una división por mandato del general Joseph E. Johnston , aunque esta decisión se tomó debido más a presiones políticas que por experiencia militar, ya que Floyd no tenía la experiencia militar de otros oficiales de Joseph E. Johnston como Beauregard o William J. Hardee.
Fue enviado al teatro de operaciones occidental para apoyar al general confederado Albert S. Johnston ante la llegada del general unionista Ulysses S. Grant.