Olsen, durante un tiempo también fue presidente del Grupo Aker, una compañía noruega de los sectores energético y alimentario.
Fred Olsen ha sido llamado "El Howard Hughes noruego" por su gran riqueza y su aislamiento de la vida pública.
[1] Estuvo involucrado en una disputa legal con su hermano menor, Petter Olsen, en relación con la importante colección de pinturas de Edvard Munch reunida por su padre, el segundo Thomas Fredrik Olsen.
Según el testamento de su madre Henriette Olsen, la colección debería quedar en manos del hijo menor.
Fred Olsen impugnó el testamento, pero perdió el caso en los tribunales de Oslo en 2001.