Es por esto por lo que su principal finalidad en esta época era de defensa y no cultural como en la actualidad.
Así mismo, Inestrosa se comprometió a rehacer las cinco torres de la marina: Rambla Honda, Cerrillos, Entinas, Guardia Vieja y Alhamilla.
Por otro lado, el siglo XVIII dio paso al fallecimiento del alcaide Andrés Antonio de Castro.
Los nuevos proyectos defensivos que se llevaron a cabo tuvieron muy en cuenta la relevancia de la artillería en el castillo, siendo así reforzada la fortaleza con un cañón más.
En el siglo XIX, el castillo quedó arruinado a causa del terremoto de 1804, provocando así la no restauración desde dicha fecha.
Esta reconstrucción fue terminada en el año 2003 y, hasta entonces ha ido recibiendo obras de grandes artistas dentro del panorama provincial, nacional e internacional.
Así pues, tras esta reconstrucción, la organización interior del castillo ha quedado dividida en tres espacios.
Así, cuenta con dos salas, donde se exhiben pinturas, esculturas y fotografías.