Fue construido entre 1427 y 1430 por orden del déspota Đurađ Branković, gobernante del Despotado de Serbia.
Fue fortificada todavía más por el Imperio otomano, que había tomado la ciudad en 1459.
La fortaleza resistió varios asedios de otomanos y serbios, y sobrevivió relativamente ilesa.
Durante la Segunda Guerra Mundial sufrió graves daños por explosiones y bombardeos.
En 2010, la fortaleza fue incluida en la lista tentativa para su posible nominación como Patrimonio de la Humanidad (Unesco).