El castillo, de época árabe, se encuentra parcialmente destruido y muy enmascarado por construcciones contemporáneas.
Únicos testigos de su existencia son dos torres (tahona grande y tahona chica) y fragmentos dispersos de murallas.
En la zonificación realizada se incluye todo el entorno del casco urbano, pues si bien en la zona del cementerio se encuentra el castillo o Hisn primero, con posterioridad a época altomedieval la fortaleza debió extenderse rodeando el casco urbano actual.
La falta de investigación, tanto en lo referente al fuentes historiográficas como a datos arqueológicos impiden hacernos una idea exacta de la configuración de la fortaleza en época bajomedieval.
Sin embargo, la presencia de lienzos de muralla como el situado junto a la calle Agua o la desaparecida Puerta de Málaga, o de torres como la denominada Tahona Chica, evidencia que el recinto amurallado debió rodear todo el casco urbano moderno, el cual, por otra parte, conserva una traza de tradición islámica.