En 1960, representa al Jefe Oglala en Lakota Crazy Horse, en el episodio "Escort Detalle" de la NBC.
Fue nominado para un Premio de la Academia como Mejor Actor en un papel de apoyo por su papel en Love Story (1970) pero perdió contra John Mills, que ganó por Ryan's Daughter.
Apareció también en la popular serie de televisión, The Incredible Hulk, como el padre del protagonista, David Banner.
Participó también varias veces como invitado a series de televisión, incluido The Facts of Life.
John Marley está enterrado en el cementerio de Cedar Park, en Emerson, Nueva Jersey.