Nacido en Nueva Orleans, Luisiana, Bryant se crio en Chicago y tomó lecciones de trompeta, aunque con un resultado poco satisfactorio.
Durante varios años intervino en diferentes producciones de vodevil, y en 1934 actuó en el show Chocolate Revue junto a Bessie Smith.
En 1934 organizó su primera big band, en la que en tocaron ocasionalmente músicos como Teddy Wilson, Cozy Cole, Johnny Russell, Benny Carter, Ben Webster, Eddie Durham, Ram Ramirez, y Taft Jordan.
Grabaron seis veces entre 1935 y 1938, cantando Bryant en gran parte de los discos.
En septiembre y octubre de 1949 presentó Uptown Jubilee, un show de variedades con reparto afroamericano emitido por la Columbia Broadcasting System.