Mildred tenía sangre india en las venas y la costumbre de recordarle a la gente que, debido a ello, era más americana que la mayoría de ellos.
Bailey permaneció con la banda durante cuatro años, disfrutando en 1932 de un enorme éxito con su personal versión del tema de Hoagy Carmichael Rockin' Chair.
En 1933 abandonó la orquesta de Whiteman y se casó con el xilofonista Red Norvo.
Hacia 1939 había abandonado el grupo y su matrimonio estaba en crisis: en 1943 Norvo y ella se separaron y su forma instintiva de cantar el jazz corría el peligro de pasar de moda, mientras su cuerpo comenzaba a experimentar los primeros síntomas de la diabetes y los problemas hepáticos que acabarían con su vida.
Su naturaleza crecientemente irascible hacía más difícil que la gente pudiera contratarla con garantías, y Bailey se apartó de su viejo estilo de vida.