Este castillo fue objeto de intercambios entre los condes pallareses.
Así, por ejemplo, en 1381 consta como propiedad de los condes del Pallars Sobirá.
[1] A finales de la Edad Media perteneció a los Toralla, gobernadores del castillo de Toralla, que mantuvieron su señorío hasta finales del siglo XVIII.
Durante el siglo XIX perteneció a los Motes, que habían obtenido el título de barones de Claverol el siglo anterior.
Durante un tiempo se usó como depósito de agua del pueblo.