Phipps nació en Dubbo y fue criado en Parkes.
Inició su carrera como actor en Sídney a los 21 años, principalmente en teatro, figurando en producciones como Buffalo Skinner, Long Day's Journey into Night, Fortune and Men's Eyes, The Removalists, Rooted, What If You Died Tomorrow?
y The Rocky Horror Show.
También realizó una notable carrera en el cine y la televisión, de la que se destacan los papeles de Bernie Dump en The Miraculous Mellops, Toadie en Mad Max 2 (1981),[2][3] Gough Whitlam en la miniserie The Dismissal (1983), Frank Packer en True Believers (1988) y Terry Lewis en Police State (1989).
Nunca se casó.