Durante el periodo Muromachi, los Wada se pusieron al servicio del clan Uesugi, que tenía el puesto de Kantō kanrei; aun así en 1561, Wada Narishige, indignado porque el puesto se le dio a Uesugi Kenshin, cambió de bando y se puso al servicio del clan Takeda.
Su hijo, Wada Nobunari, por su parte, se puso al servicio del clan Odawara Hōjō.
Ii Naomasu se trasladó a dicho lugar en 1598, rebautizándolo como "Takasaki", y trayendo con él a la población de Minowa para formar el núcleo de una nueva ciudad amurallada.
Los Ōkōchi Matsudaira fijaron allí su residencia en 1695, y excepto un breve lapso de tiempo entre 1710 y 1717, tuvieron el control del castillo hasta el fin del periodo Edo.
Tokugawa Iemitsu exilió a su hermano más joven, Tokugawa Tadanaga, al castillo de Takasaki en 1633, y le ordenó suicidarse allí en diciembre de ese mismo año.