[1] Ochi Kunizumi construyó el castillo original en el lugar en 1332, como un soporte para la fortaleza Kaibukiyama, la principal del clan.
Estos participaron en varias sublevaciones y fue una defensa importante para los dominios de la familia.
Los Honda gobernaron la zona hasta 1640, cuando Uemura Iemasa se convirtió en el nuevo señor.
[2] Conforme avanzada el período Edo y aumentaba la paz en el país, los señores Uemura trasladaron su residencia desde la cima de la montaña hasta la ciudad-castillo en su falda, en la zona conocida como Shimoyashiki.
La entrada al hogar de los Uemura también se conserva en Shimoyashiki, donde sus descendientes todavía residen.