Las fuentes son algo contradictorias en sus primeros años, por un lado Vadian afirmaba que era autodidacta, y por otro el humanista de Núremberg Konrad Celtis decía que había adquirido su técnica en la corte del emperador Federico III.
Hofhaimer fue a Innsbruck en 1478, e impresionó tanto al archiduque Segismundo de Austria que se le asignó toda la vida como organista de la corte en 1480.
Casi con certeza conoció bien a Heinrich Isaac mientras estuvo en Innsbruck, ya que Isaac se convirtió en compositor de la corte más tarde esa misma década.
En 1498, después de varios años de viajes, durante los cuales visitó la corte sajona del príncipe elector Federico el Sabio, se trasladó a Passau, y en 1507 se trasladó a Augsburgo, donde pudo estar más cerca de Maximiliano.
Maximiliano y el rey de Polonia lo hicieron caballero y noble en 1515, confiriéndole el título de "primer organista del emperador".