Audley nació en Earls Colne, Essex, hijo de Geoffrey Audley, y se cree que estudió en Buckingham College, Cambridge, actualmente conocido como Magdalene College.
Interpretó las "escrúpulos morales" del Rey ante el parlamento con respecto a su matrimonio con Catalina de Aragón, y se convirtió en el instrumento del Rey en el ataque contra el clero y en la preparación de la Ley de Supremacía.
La ejecución de la esposa del rey lo dejó libre para declarar ilegítima a la hija del rey, la princesa Isabel, y para que Enrique se casara con la dama de Ana, Juane Seymour.
Al morir sin descendencia masculina, su baronía se extinguió con su muerte.
La Iglesia de San Miguel en Berechurch, Essex, tiene un monumento en su Capilla Audley.