Es una construcción que data de la época bereber, aunque fue terminado tal y como lo conocemos hoy en día por los castellanos.
Situado a 850 metros sobre el nivel del mar, al sur del municipio y del río de Cazorla, este Castillo, llamado de la Yedra o de Las Cuatro Esquinas, se conserva en pie una buena parte, y en él se pueden distinguir tres recintos sucesivos; alcazarejo, recinto y albacara.
Integra la torre del homenaje y el reducido patio de armas, que la circunda.
Este pequeño recinto se ciñe a la forma que lo sustenta.
Se accede por un pasaje tortuoso y doblado, casi una poterna que serviría además para facilitar la aguada de la fuente vecina.
En el lado Sudeste la torre alcanza una altura de treinta metros y cincuenta centímetros.
La referencia al año 1606 que aparece en la puerta del recinto del Castillo que abre a la albacara, debe corresponderse con la fecha de la realización de ciertos reparos en la fortaleza.