El duque Jorge el Rico renovó y amplió los edificios del castillo durante el siglo XV.
En 1516 el duque Luis X de Baviera reestructuró y mandó construir el castillo según el estilo renacentista de la Alemania meridional, transformando el interior en un palacio residencial.
[1] Todavía hoy quedan los pórticos del patio, creados entre 1568 y 1578 por Friedrich Sustris para el príncipe heredero Guillermo V de Baviera.
Más tarde, el príncipe Fernando María (1675-1679) emprendió la restauración de las pinturas quemadas y arregló las habitaciones con otras obras.
En el curso del siglo XVIII, el palacio se utilizó como cuartel y prisión para los detenidos de alto rango.