El castillo de Hortal, del que sólo quedan unos restos muy deterioradas, antiguamente era una fortaleza de planta rectangular muy simple, y construida adaptándose a las irregularidades del terreno.
Los restos son de los siglos XIII y XIV, aunque las noticias del castillo se remontan a finales del siglo XI, cuando fue entregado a Bernat II de Besalú por Dalmau Berenguer de Quermançó.