Tras mudarse con su familia a la localidad de Ann Arbor desde Whitmore Lake, Michigan, Alexander asistió a la misma escuela secundaria que los hermanos Ron y Scott Asheton.
Alexander y los hermanos Asheton conocieron a Iggy Pop y fundaron The Stooges en 1967.
Aunque Alexander era un completo novato con su instrumento, pronto aprendió a manejarlo e incluso participó en los arreglos y la composición de los dos primeros discos de la banda, The Stooges y Fun House, tocando el bajo en todas las canciones.
Aparece acreditado, y así lo confirmó Ron Asheton como compositor de los temas "We Will Fall",[1] "Little Doll" (en el álbum The Stooges), "Dirt" y "1970" (en el álbum Fun House).
Alexander falleció a consecuencia de un edema pulmonar en 1975 a la edad de 27 años,[2] pasando a formar parte del conocido Club de los 27.