Nacido en Brooklyn, Nueva York, en 1880, Halliday, entonces un ingeniero civil, emigró a Nevada e hizo fortuna, que después perdió, buscando pepitas de oro.
A partir de entonces se hizo una figura familiar en Broadway, especialmente actuando en sofisticadas comedias como The Circle (William Somerset Maugham, 1921), Sour Grapes (Vincent Lawrence, 1926), Jealousy (Louis Verneuil, 1928) y Rain from Heaven (Samuel Nathaniel Behrman, 1934).
También fue conocido por sus papeles cinematográficos donde actuó al lado de las grandes divas hollywoodenses de la época, como Dolores del Río en Ave del paraíso (1932) o Marlene Dietrich.
Al año siguiente interpretó su último papel, en el film Lydia (1941).
John Halliday falleció a causa de una enfermedad cardiaca en 1947 en Honolulu, Hawái.