Se unió a la banda en abril de 1974, uniéndose a Malcolm Young (guitarra rítmica), Angus Young (guitarra), Dave Evans (voz) y Peter Clack en (batería).
Él apareció en la cinta de vídeo de AC/DC, del primer sencillo de esta banda "Can I Sit Next To You Girl".
Después de su partida, AC/DC no tenía un bajista fijo hasta la llegada de Mark Evans en marzo de 1975.
Durante este tiempo la posición fue ocupada por Larry Van Kriedt, George Young, y en ocasiones por Paul Matters.
Bailey era un miembro de la banda durante la grabación de su álbum debut High Voltage pero el crédito en el álbum fue atribuido a George Young.