[2] En el siglo XI, el entonces señor de Solsona Ecard Miró, comenzó las obras para fortificarlo, obras que posteriormente a su muerte, continuaron sus descendientes Bernardo y Ramón de Tarroja, finalizando su construcción en el año 1217.
En el siglo XIV, entre los años 1310 y 1320, el castillo sufrió amplias reformas que emprendió el vizconde de Cardona para adaptar la casa-castillo al estilo gótico y convertirlo en palacio; durante estas reformas se construyó la gran sala que se podía encontrar en el lado este del recinto amurallado, de forma cuadrada, con arcos apuntados transversales sobre columnas cilíndricas con capiteles cúbicos, según un modelo frecuente en los castillos catalanes en época gótica.
El castillo sufrió graves daños durante las campañas de la tercera guerra carlista.
En 1872, el carlista Morlans ordenó derrumbar sus tres torres que actualmente se encuentran decapitadas de las cuatro del recinto cuadrado del que sólo quedan las bases, y la cuarta torre escapó de la misma suerte gracias a la llegada de los gubernamentales que impidieron su destrucción.
Actualmente, la cabeza del niño Jesús se encuentra depositada en el Museo Diocesano y Comarcal de Solsona.
Se siguen celebrando encuentros del Roseret, y cada 10 de septiembre es tradición realizar una romería independentista, subiéndose una gran bandera que se cuelga en las murallas del castillo, y celebrando charlas, para conmemorar la festividad.