Su nombre completo era Carl William Demarest, y nació en Saint Paul (Minnesota), aunque su familia se mudó a New Bridge, una pequeña población del Condado de Bergen, Nueva Jersey, cuando él era niño.
Demarest trabajó de manera regular con el director cinematográfico Preston Sturges, llegando a formar parte del elenco estable que Sturges utilizaba de manera repetida en sus producciones.
Previamente había trabajado con el auténtico Al Jolson en The Jazz Singer.
Antes de My Three Sons, Demarest actuó con la veterana estrella del cine western Roscoe Ates en 1958, en el episodio "And the Desert Shall Blossom" del programa de la CBS Alfred Hitchcock Presents.
En dicha serie Demarest actuaba junto a Jeanne Bal, Murray Hamilton, y Stubby Kaye.