Al llegar a la edad de 16 años Ollivión se incorporó a las categorías inferiores del Aviron Bayonnais donde en 2012 se convierte en campeón de Francia y en 2014 estuvo compaginando el equipo profesional con el equipo sub-23 donde se proclamó subcampeón de Francia.
A pesar de sus notables actuaciones no ha sido convocado por las selecciones inferiores francesas.
Se inicia en el Top 14 en marzo de 2013 para hacer frente a Union Bordeaux Bègles .
También sufre una primera lesión grave que le hizo pasar por el quirófano para operarse del hombro en abril de 2013.
La siguiente temporada , jugó nueve partidos en el Top 14 , incluyendo seis como titular.