[4] San Agustín comenta en el capítulo 3 del Libro 1º contra Juliano: "Olimpio obispo español, varón de grande gloria en la Iglesia y en Cristo".
En el capítulo 6 del Libro 2º San Agustín le coloca en la clase de santos, bienaventurados sacerdotes y doctores: "Propter quam catholicam veritatem sancti ac beati et in divinorum eloquiorum pertractatione clarissimi sacerdotes, Irenaeus, Cyprianus, Reticius, Olympius, Hilarius, Ambrosius, Gregorius, Innocentius, Ioannes, Basilius, quibus addo presbyterum, velis nolis, Hieronymum, ut omittam eos qui nondum dormierunt..."[5]
"Esta verdad católica ha sido reconocida por todos los santos doctores e ilustres sacerdotes expertos en las Sagradas Escrituras: Ireneo, Cipriano, Reticio, Olimpio, Hilario, Ambrosio, Gregorio, Inocencio, Juan y Basilio; a los que añado, lo quieras o no, a Jerónimo, sin hablar de los que aún no han muerto.
También escribió un sermón eclesiástico donde trató del pecado original y de sus fatales consecuencias:"Si la fe se hubiese conservado siempre pura en la tierra, y hubiese permanecido en las huellas firmes que le fueron señaladas y desamparó, jamás se hubiera propagado el vicio en la generación por la mortal transgresión de la información primera, de modo que naciese el pecado con el hombre.
"[5]Otro autor comenta que Olimpio publicó muchos discursos sagrados y un libro teológico sobre la libertad de quien peca.