[2] Ousley nació en Chicago, y comenzó a tocar a fines de la década de 1940, y en la década de 1950 acompañó a Billie Holiday y grabó junto con Dinah Washington.
Tocó como acompañante de Gene Ammons en la década de 1950 y con Jack McDuff y George Benson en la década de 1960.
[2] Publicó su primer disco como líder en 1961.
En la década de 1970 tocó junto con Lionel Hampton y Count Basie además de producir otros materiales como líder.
Con posterioridad a 1977 no produjo ningún otro álbum bajo su propio nombre hasta Grit-Grittin' Feelin' (2000).