Destruido en el siglo XV, y a pesar de que hoy en día está en ruinas, el castillo mantiene un simbolismo especial dado que dio el nombre a la villa.
A lo largo de su historia pasó por diferentes propietarios hasta la posterior desaparición.
En 1350 la señoría fue adquirida por Bernat de Torres, para pasar más adelante a los Rajadell (1413) y los Amigant (1673).
Sus últimos señores feudales fueron los Despujol, marqueses de Palmerola.
También había existido una pequeña capilla románica que pertenecía al castillo, la capilla de Santa María, de la que todavía quedan algunos vestigios al lado de los pocos restos del castillo.