Se conoce la existencia del templo desde 1235, aunque el edificio actual es una reconstrucción de 1768.
[6] El hecho de que la ermita actual no sea la original ha dado lugar a múltiples especulaciones sobre un posible origen en elementos precristianos, en particular relacionadas con la etimología de la palabra "Hitos": este término hace referencia a piedras clavadas en el suelo, por lo que se le ha relacionado con miliarios romanos, e incluso se ha señalado un posible origen prerromano en el conjunto arqueológico de la zona.
[8] Por su parte, la hipótesis prerromana es más compleja, y no solamente se basa en la posible relación del término "Hitos" con antiguos menhires, sino también en una extraña costumbre que tenían los vecinos de la villa.
[1][7] Al igual que ocurre en otros muchos santuarios marianos medievales de España, la leyenda local señala que se eligió este lugar porque la imagen de la Virgen fue hallada por unos pastores en una encina cercana.
La ermita actual es una reconstrucción de 1768, restaurada en la segunda mitad del siglo XIX.
[1][12][13] En el exterior, la obra, construida en mampostería de pizarra con sillares graníticos en las esquinas, es sencilla.