Olsen asistió a Wayne Hills High School, donde practicó fútbol americano y baloncesto.
[1] Fue considerado un 5 estrellas por Rivals.com, y calificado como el 2º mejor tight end de la nación.
[2] Tras su paso por el instituto, Olsen tenía pensado graduarse en Notre Dame, pero fue transferido a Miami en 2003.
Olsen fue seleccionado por los Chicago Bears en la primera ronda (puesto 31) del draft de 2007.
[4] Con los Panthers, Olsen ha ganado tres títulos de división consecutivos, un campeonato de la NFC[5] y ha llegado hasta la Super Bowl 50, donde perdieron frente a los Denver Broncos 24-10.