Fue mandado construir por Sisnando Menéndez para la defensa de Compostela contra los ataques normandos.
En el año 1121, coincidiendo con el acuerdo de paz de la reina Dona Urraca con el obispo Diego Gelmírez, se decide que al segundo se le deberá entregar el castillo; poco tiempo después sufre un ataque de piratas moros, que sucedieron a los normandos como amenaza en las costas gallegas.
El castillo también aparece citado en documentos del siglo XIII.
[1] Del antiguo castillo hoy en día solamente se conserva esta torre y la ermita románica.
Hace algunos años se realizaron obras en el recinto que afectaron gravemente su integridad, perdiéndose los vestigios que quedaban de la muralla y tapándose con uno nuevo el antiguo puente de comunicación con el castillo, originalmente levadizo.