Ballard nació en Camden, Nueva Jersey y creció en la sección Frankford de Filadelfia.
[3] En 1941, comenzó a tocar con la Orquesta Cootie Williams, actuando con Ella Fitzgerald, Sarah Vaughan, Dinah Washington y Pearl Bailey.
[3] Después de la guerra, regresó a Filadelfia y luego fue a la ciudad de Nueva York, donde trabajó con músicos como Eddie "Lockjaw" Davis, Eddie Vinson, Arnett Cobb y Clark Terry.
[3] Conoció y se hizo amigo del baterista Shadow Wilson, que tocaba con la orquesta de Count Basie.
[3] Después de la gira, Ellington le pidió que reemplazara permanentemente a Greer, pero Ballard se negó, ya que no quería cambiar su método de batería para adaptarse a Ellington.
[6] Ballard tocó con muchos músicos durante su carrera, entre ellos John Coltrane, Freddie Green, Harry "Sweets" Edison, Clark Terry, Emmett "Rev" Berry, Bardu Ali, Willie Cook, Cat Anderson, Arnett Cobb, Lucky Millinder, Bootsie Barnes, Bob Dorsey, Eddy Vincent y Mercer Ellington.