Durante el periodo Sengoku -dada su estratégica posición en un vado- el castillo fue escenario de numerosas batallas, cambió de manos varias veces y fue destruido y reconstruido en diversas ocasiones.
Ikeda desarrolló la ciudad aneja circundante y se embarcó en un ambicioso plan para reconstruir a gran escala el castillo de Yoshida.
El último daimio de Yoshida, Matsudaira Nobuhisa, rindió el castillo al gobierno Meiji sin oponer resistencia en 1868.
El castillo fue cedido al recién creado Ejército Imperial Japonés en 1871, pero fue destruido en su mayor parte por un incendio en 1873.
Más tarde se construyeron un museo de arte e instalaciones deportivas en el emplazamiento que ocupó el recinto interior.