El primer castillo ubicado en este lugar data de mediados del periodo Kamakura.
De 1608 a 1613, el clan Uesugi remozó el castillo por completo, pero debido tanto a la disminución de sus territorios e ingresos como a las sospechas que el shogunato Tokugawa albergaba contra ellos, los muros de tierra no pudieron ser cubiertos con piedra, y la torre del homenaje que se erigió apenas tenía tres pisos.
Aun así, el castillo siguió en las manos del clan Uesugi hasta la restauración Meiji.
El resto de las estructuras fue demolido en 1873 y en el segundo patio se construyó el actual ayuntamiento.
El mausoleo se trasladó a su ubicación actual, donde estuvo la torre del homenaje, en 1876.