Más adelante, en el siglo XVI se perfeccionó la fortaleza con muros, acondicionados para la defensa con armas de fuego, y reforzados con torres cilíndricas.
En 1585 estuvo preso en este castillo Antonio Pérez, secretario del rey Felipe II.
Sus partidarios planearon su fuga, y para ello se establecieron en el cercano pueblo de Muñoveros.
Estos consiguieron entrar en el castillo, pero la astucia del alcalde les convenció para que desistieran de su intento.
Consta de tres naves, las laterales son más antiguas, se construyeron en el siglo XII, en estilo románico; y la central, más ancha, está cubierta por bóveda de cañón apuntada, que anuncia el gótico.