Después de eso, fue empleado como profesor principal en las escuelas primarias y secundarias en Leonberg.
Mergenthaler cofundó el capítulo local del Partido Nazi en Schwäbisch Hall en 1922, por el cual estuvo muy comprometido como orador público.
Mergenthaler dudó en hacerlo hasta 1927 porque pensó que el estilo dictatorial de Adolf Hitler era perjudicial para la causa.
Si bien Mergenthaler no ocupó el cargo dentro del Partido, tuvo el rango paramilitar de SA-Obergruppenführer en la Sturmabteilung.
Sin embargo, debido a que Hitler nombró a su rival Wilhelm Murr para el puesto recién creado de Reichsstatthalter de Württemberg (Gobernador del Reich), las funciones del Ministro Presidente y el Landtag perdieron importancia.
Persiguió sin piedad a los maestros y directores que no seguían la ideología nazi, ya sea transfiriéndolos o eliminándolos de sus trabajos.
En su juicio de desnazificación en 1948 fue condenado como "delincuente mayor" (en alemán: Hauptschuldig) y no presentó ninguna objeción.