La fortaleza, probablemente levantada sobre las ruinas de la ciudad antigua de Oba y que por su fácil defensa y localización estratégica, en especial en época de la dominación musulmana y sobre todo, por su posición fronteriza, cobrará su máximo esplendor.
El castillo fue tomado por los jerezanos en 1430, reconquistado por los granadinos en 1451 y definitivamente integrado a la Corona en 1456.
En su interior existe un cementerio con dos fosas comunes de la Guerra Civil.
También sobresale el Alcázar, muy reformado tras la toma cristiana, con su airosa y circular Torre del Homenaje, de 13 m (la más alta del conjunto), que en su interior, oculta otra anterior, de planta poligonal.
En 2012 comenzaron las obras de consolidación e investigación arqueológica en el castillo.