[2] Nació en Indianápolis en 1936 y poco después empezó a tocar el piano.
A los 19 años, Rhyne comenzó a tocar el piano con el entonces desconocido saxofonista tenor Rahsaan Roland Kirk, pero rápidamente pasó al instrumento que lo haría famoso: el órgano Hammond B3.
[3] En 1959 le pidieron que se uniera al trío recién formado del músico de Indianápolis Wes Montgomery.
En 1991, sin embargo, tocó en el álbum Roll Call de Herb Ellis, At the Main Event de Brian Lynch y en su propio álbum, The Legend .
Continuó siendo prolífico en los años siguientes, lanzando ocho álbumes en solitario más en el sello Criss Cross Jazz.