Los Shibata fueron destruidos a principios del periodo Muromachi por las tropas de Uesugi Kagekatsu.
Gran parte del castillo fue destruida por un incendio en 1668 y reconstruida en 1679.
Tras la restauración Meiji y la subsiguiente abolición de los dominios medievales, el clan Mizobuchi entregó el castillo de Shibata al nuevo gobierno Meiji.
En 1871 fue guarnecido por un destacamento del Ejército Imperial Japonés y, en 1873, la mayor parte de las estructuras fueron demolidas.
En esa época tenía 11 torres de vigilancia (yagura) y cinco puertas; de todo ello sólo sobreviven hoy una puerta (el Omotemon) y una torre (la Sumi yagura (隅櫓).