Menos protegida quedaría la campiña que se tiene a sus espaldas, hacia el Este, sector para cuya defensa se debió contar con alguna otra fortaleza de apoyo, tal vez la citada por Madoz y Amador de los Ríos en el sector oriental del pueblo.
Los lados Este y Sur están ocupados por viviendas que se adosan a la muralla, la cual puede haber desaparecido en algunos tramos.
Este lienzo y la torre debieron formar parte del palacio, no de la cerca exterior, que debe haber desaparecido, pero que probablemente enlazaría con la punta del trapecio existente hacia el Oeste; por tanto el triángulo que describe en la actualidad la planta del recinto no debió existir originalmente, aunque sería necesario realizar sondeos para comprobar esta hipótesis y poder delimitar con exactitud el límite Noreste de la cerca primitiva.
En este sector se realizó previamente una prospección geofísica que dio resultados positivos.
A pesar de la fuerte pendiente del terreno en este sector, todo él estuvo ocupado en época islámica.
El recinto que conforma es una estructura de origen islámico, reutilizada en época bajo medieval y reformada en la Edad Moderna, con poblamiento asociado desde sus orígenes.
La siguiente referencia documental la proporciona el geógrafo Idrisi, quien describe a la antigua Yabal-al-ayum como lugar fortificado junto al río Qanatir.
Después de esto, no se conocen más referencias documentales acerca del castillo.