[2] El origen del castillo se sitúa al tiempo de la reconquista del término por Ramón Berenguer IV hacia el 1157-1160, y unos años más tarde perteneció a la orden de Calatrava,.
Todo su perímetro está recorrido por restos de muros defensivos que en buena parte limitan con el acantilado.
El acceso al castillo era un paso estrecho cortado entre dos rocas.
[2] Alrededor de la cumbre hay diferentes restos de paredes y se considera que el espacio donde ahora está el cementerio antiguo de La Fresneda podría haber sido el recinto inferior del castillo, mientras que la cumbre era el recinto soberano.
[2] Los restos de la torre del homenaje que hay en la cumbre son posteriores a la Edad Media.