En el testamento del conde Bernardo I de Besalú (1020 o 1021) aparece mencionado nuevamente este castillo.
El testador lega a su hijo y sucesor Guillermo «ipso castello quem dicunt Collotorto».
En el año 1028 en la venta del alodio de La Cot, lugar cercano a Colltort, se menciona como límite meridional el «castro que dicunt Collo Torto».
El 1070, cuando los nobles de Besalú juran fidelidad a su conde Guillem Bernat, éste se compromete a no negar los derechos que el conde de Besalú tenía.
La construcción se fundamenta en la roca o bien en unas piedras más grandes y planas.
En algunos lugares se ha conservado hasta una altura de 3 m. Se calcula que la torre fue construida en el siglo XI y los muros que la rodean fueron construidos, o repuestos, en los siglos posteriores.