Se asienta sobre un poblado celtibérico, del que solo quedan restos visibles de una muralla.
De las construcciones medievales quedan tres torreones en ruinas y un muro, así como un pasillo de roca que comunica las dos terrazas y lo que pudo ser un aljibe mandado construir en 1347 por Pedro IV.
La reina viuda Sancha lo donó a su hijo Pedro II.
En 1347 Tornos prestó un gran apoyo en momentos difíciles para la Corona, siendo alcaide el caballero darocense Domingo Marcuello, al negarse entregar el castillo a los rebeldes unionistas que estaban atrincherados en el de Berrueco, y presionaban a Pedro IV para que les entregara una serie de castillos.
El castillo fue desmoronándose por el transcurso del tiempo al perder su utilidad defensiva por los enlaces castellano-aragoneses.