Cuando en 1301 murió el rey Andrés III de Hungría y con éste se extinguió la Casa de Árpad surgió un caos en la sucesión donde varios nobles se disputaron el trono.
Por otra parte la oligarquía local dentro del reino había adquirido mucho poder y enfrentaron a los pretendientes al trono.
Sin embargo, la oligarquía seguía gobernando en sus territorios sin querer someterse al poder real, ante lo cual Carlos Roberto continuó con varias batallas buscando derrotarlos.
En 1312 el rey Carlos Roberto movilizó sus ejércitos junto a Tomás Szécsenyi, y vencieron en la batalla de Rozgony a los oligarcas rebeldes encabezados por los hijos del fallecido noble Amadeo Aba y Mateo Csák.
Legó a sus descendientes enormes posesiones en las provincias de Nógrád, heves, Somogy y en Transilvania.