Nacido en Perú, Indiana, se graduó en música en la Universidad de Northwestern en 1912 y, tras ello, entró en el ambiente del vodevil.
En 1914 conoció a Chic Johnson, que se hacía llamar "El Mayor Pianista de Ragtime del Medio Oeste."
Entonces iniciaban un charloteo, con insultos incluidos, siendo éste el origen de la pareja "Olsen and Johnson".
Moya se casó en 1941 con Bill Lear, fundador de la compañía Learjet.
Ole Olsen falleció en 1963 a causa de una enfermedad reanal en Albuquerque, Nuevo México.