Está situado en la cima de un risco como parte del casco urbano.
Se cree que su construcción se realizó durante la dominación musulmana en el siglo IX, cuyo nombre sería Sujayra que derivaría en el nombre de Zuheros,[1] aunque es difícil de discernir por las sucesivas reformas a lo largo de la historia.
De época de al-Ándalus todavía se conserva el aljibe islámico, que fue reaprovechado por los almohades que levantan un torreón prismático y el recinto amurallado.
[3] Debido a que los musulmanes ya no eran una amenaza, durante el siglo XVI se construyó en el lugar el palacio de los señores de Zuheros en estilo renacentista, modificando la entrada y la estructura del edificio, obra de Hernán Ruiz.
[4] La fortaleza pasa en el siglo XVIII a los marqueses de Algarinejo,[2] quienes no solían habitar el castillo y este cayó en abandono y en el siglo XVIII se convierte en cantera, aprovechando sus materiales para la construcción de nuevas viviendas.