En concreto, el conjunto consta de dos partes diferenciadas.
Por un lado el castillo o alcázar, del que se conservan tan solo restos de muros, el lienzo sur y la base de los cinco torreones que lo configuraban; y por otro lado, la propia muralla defensiva del emplazamiento.
La otra puerta, llamada popularmente Arquito Quemado, está situada en el lienzo norte de la muralla, y se abría al exterior en recodo al igual que la Puerta del Sol, una característica propia de las fortificaciones almohades.
La torre octogonal que la albergaba también fue sometida a diferentes intervenciones hasta adquirir en el siglo XVIII su configuración actual como capilla dedicada a la Virgen de las Angustias.
En el siglo XVI se abre una tercera puerta al final de la calle Santa Clara, la denominada «Puerta de Marchena», para facilitar las comunicaciones internas de la villa.