En 1757 Fermor dirigió una fuerza rusa que capturó Memel en Prusia Oriental[2] y estugo presente en la batalla de Gross-Jägersdorf.
Reemplazaba a Stepan Fedorovich Apraksin, caído en desgracia ante la emperatriz Isabel.
La batalla causó grandes bajas a ambos bandos, tras lo que Fermor se retiró hacia el este.
En 1760 estuvo al mando de las fuerzas rusas en la incursión sobre Berlín, en la que rusos y austríacos lograron brevemente ocupar la capital prusiana antes de verse obligados a retirarse.
Tras el golpe que llevó a Catalina II al trono fue nombrado Gobernador de Smolensk.