Los únicos restos que se conservan son unos fragmentos de muro hechos con sillares bien tallados no muy lejos de la iglesia de Sant Andrés.
El aspecto actual es de desolación tras la destrucción de la iglesia durante la guerra civil.
Terminada la guerra, se construyó la iglesia nueva de Sant Andrés, inaugurada en abril de 1949.
Así, el origen del castillo se sitúa en el sistema defensivo empleado en la Segarra en la lucha contra los sarracenos en el siglo X.
El castillo de Aguilar está documentado ya en 983.