Ocupaba una gran explanada dominada por el castillo y una vasta muralla que cercaba todo el poblado.
Tras la conquista cristiana en 1081 pasó a formar parte del común de villa y tierra de Hita y sirvió como defensa del puente sobre el Sorbe del camino real de Zaragoza.
En 1328 se trasladó la cabeza de la encomienda a la cercana Mohernando y con ello el cobro del tributo.
Comienza entonces el despoblamiento de Peñahora y el abandono del castillo.
El castillo de Peñahora quedó entonces completamente en desuso y abandonado.