Clayton estudió oboe en la Universidad Estatal de California y realizó una gira con Stevie Wonder.
Después de esto, grabó con Gladys Knight, Kenny Rogers, Michael Jackson, Patti Labelle y Madonna.
Con su hermano John Clayton fundó The Clayton Brothers en 1977 y más tarde formó la Clayton-Hamilton Jazz Orchestra con Jeff Hamilton.
Trabajó con Frank Sinatra, Sammy Davis Jr, Ella Fitzgerald, Woody Herman, Lionel Hampton, Ethan Smith y Lena Horne y tocó en la Count Basie Orchestra mientras estaba bajo el liderazgo de Thad Jones.
También realizó una gira con Gene Harris, Dianne Reeves, Joe Cocker, BB King y Ray Charles.