[1] La madre de Peter Fraser murió cuando él tenía 12 años cuando vivía en Zambia, donde su padre se desempeñaba como ministro.
Anthony Eden, el entonces primer ministro, intervino a petición del amigo de la familia Brendan Bracken para ayudar a Fraser en obtener una beca para Loretto School, la escuela privada en Musselburgh, donde Eden era un administrador.
[2] Fue educado en la escuela de Loretto, Musselburgh, East Lothian, y se graduó de BA (Hons) y LLM (Hons),en Gonville y Caius College, Cambridge, antes de ir a la Universidad de Edimburgo.
En 1979 fue nombrado Abogado Junior Permanente del Ministerio de Asuntos Exteriores y se convirtió en abogado de la Corona en 1982.
En 1969 se casó con Fiona Murray Mair.