Era hijo de un capitán retirado y propietario de la orden familiar del barón Cuno von Eltz-Rübenach y su esposa, la condesa Hugolina von Eltz.
Conservó los puestos bajo el canciller Kurt von Schleicher y después del Machtergreifung nacionalsocialista bajo Adolf Hitler.
En el curso del creciente conflicto entre el gobierno nacionalsocialista y la Iglesia Católica, Eltz-Rübenach, un católico devoto, rechazó la Placa Dorada del Partido ofrecida personalmente por Hitler durante una reunión de Gabinete el 30 de enero de 1937.
Esto llevó a su renuncia, convirtiéndolo en una «persona sospechosa» monitoreada por la Gestapo, mientras que sus reclamos de pensión fueron revocados temporalmente.
Eltz-Rübenach murió en Linz am Rhein, a los 68 años.