Apodado "The Wizard of the Keyboard (El Mago del Teclado)", se inició trabajando para diferentes bandas de música de baile.
Carle dejó la orquesta de Heidt en 1944, formando un grupo propio.
La banda se disolvió en 1955, actuando a partir de entonces como solista.
Frankie Carle falleció por causas naturales en Mesa (Arizona) en 2001, pocos días antes de cumplir los 98 años de edad.
Fue enterrado en el Cementerio Forest Lawn Memorial Park de Hollywood Hills, Los Ángeles.