Libros formó parte de la Comanda templera de Villel, que con la disolución de la orden a principios del siglo XIV (1312), pasó a ser parte de la Castellanía de Amposta de la Orden del Hospital, a la que también pertenecía Castielfabib, villa del vecino Rincón de Ademuz.
[3] Una de las primeras referencias al castillo de Libros se halla en un documento de 1196 escrito en latín medieval y en catalán, en el que el maestre de la Orden de Monte Gaudio pasa oficialmente a ser parte de los templarios y les hace entrega de las propiedades que tenía la orden en el Reino de Aragón, incluyendo el castillo de esta localidad:
La comunidad templaria de Villel, a la sazón centro neurálgico de su Encomienda, puso en marcha una política agraria con finalidad colonizadora en el territorio de su jurisdicción, estableciendo una serie de contratos agrarios –en noviembre de 1212 extendieron carta de población a Libros, zona fronteriza con el recién conquistado territorio del pre-Rincón de Ademuz (Ademuz y Castielfabib)-: se trataba de un contrato agrario entre la entidad señorial (templarios) y los cultivadores que quisieran acudir a poblar el lugar:
[7] Del antiguo castillo templario de Libros quedan escasas ruinas visitable,[8] situadas en la cima del risco conocido como "el Mortero": un muro de contención, dos de cierre apoyados en los riscos (de los cuales uno está entero y del otro solo queda una parte), una pared que parece haber sido una división interior y una depresión circular que, según la tradición popular, es un pozo que penetraba la montaña entera hasta llegar al cercano río Guadalaviar.
Por la localidad discurre el Camino de la Vera Cruz desde los Pirineos, ruta peregrinal que procede de Puente la Reina (Navarra) y concluye en Caravaca de la Cruz (Murcia), siguiendo antiguos castillos y posesiones templarias.