En 1665 Portugal sitió la villa durante seis días; fue cuando los ingenieros militares Carlos y Fernando de Grunemberg unieron las dos fortificaciones con un muro, que en 1667 estaría acabado.
En 1719 los ingleses invaden Vigo y el castillo quedó en ruinas pasando a utilizarse como espacio para el ganado, defendiéndose luego la villa desde la Fortaleza del Castro.
[2] Ya en el siglo XIX sirvió de hospital y sufre algunas modificaciones para acoger este uso.
El de San Sebastián siguió como cuartel militar hasta 1964, cuando pasa a ser propiedad del Ayuntamiento de Vigo, gracias a los regidores Alberto Varela Grandal y después José Ramón Fontán.
[4] La nueva casa consistorial fue inaugurada por los Reyes de España en 1976 siendo alcalde Joaquín García Picher.