Dejaría el Parlamento nacional en 1969, volviendo a ocupar su escaño entre 1972 y 1978.
Ese último año, el 15 de octubre, fue elegido diputado por el Parlamento Regional Bávaro, abandonando el cargo en septiembre de 1987 al ser nombrado Comisario Europeo de Asuntos Económicos, Monetarios y Trabajo en la Comisión Delors sustituyendo a su compatriota Alois Pfeiffer que había muerto ejerciendo el cargo.
El nombramiento causó cierta controversia ya que se rompió la regla no escrita en Alemania de que su segundo comisario debía elegirlo la oposición.
[2] En la nueva Comisión Europea liderada por Delors, formada en 1989, Schmidhuber se encarga de las carteras de Programación Financiera y Presupuestos, compartiendo el cargo con Leon Brittan hasta 1993.
En ese año pasa a ocupar el mismo cargo pero de forma individual hasta su abandono de la política europea en 1995, pasando a trabajar en el sector privado.