King comenzó a cantar en coros de iglesias y en la escuela formó los Four B's, un grupo doo-wop que ocasionalmente actuaba en el Apollo.
En 1958, King (que todavía usaba su nombre de nacimiento) se unió a un grupo doo-wop llamado The Five Crowns (Las Cinco Coronas).
Coescribió y cantó el primer éxito del Atlántic con la nueva versión de Drifters, "There Goes My Baby" (1959).
Cantó en una sucesión de éxitos del equipo de Doc Pomus y Mort Shuman, entre los que se incluye "Save the Last Dance for Me", "This Magic Moment" y "I Count the Tears".
Permaneciendo con Atlantic Records en su sello Atco, King obtuvo su primer éxito en solitario con la balada «Spanish Harlem» (1961).
King citó a los cantantes Brook Benton, Roy Hamilton y Sam Cooke como influencias para su voz de la canción.
"Stand by Me", "There Goes My Baby", "Spanish Harlem" y "Save the Last Dance for Me" fueron nombrados entre las 500 canciones que dieron forma al Rock and Roll por el Salón de la Fama del Rock and Roll.
Otras canciones conocidas de King incluyen "Don't Play That Song (You Lied)", "Amor", "Seven Letters", "How Can I Forget", "On the Horizon", "Young Boy Blues", "First Taste of Love", "Here Comes the Night", "Ecstasy" y "That's When It Hurts".
"I (Who Have Nothing)" de King fue seleccionado para el CD Sopranos Peppers and Eggs Soundtrack (2001).
"I (Who Have Nothing)" fue interpretada por Shirley Bassey en 1963 y también por Tom Jones en 1970, así como una grabación de 1979 por Sylvester.