[4] Fue tomado por los ejércitos aragoneses en 1083 y posteriormente recuperado por los musulmanes en fecha indeterminada.
En los siglos siguientes el castillo fue reconvertido en la colegiata de Bolea[6] y llevó una vida paralela a la localidad mientras iba perdiendo valor militar.
Aun así su emplazamiento fortificado tuvo importancia en diversos eventos, como la revuelta nobiliaria contra Jaime I de Aragón en 1226.
Unos miembros de la familia Torres fueron los primeros en alcanzar las almenas del castillo.
Pasándose a llamar desde ese momento y en recuerdo de su hazaña Bolea.