La primera documentación sobre este castillo es de 898, cuando es mencionado el castro de quondam Terciol (castillo del difunto Terçol), y en 925 y 940 se repite la fórmula, un poco evolucionada: castro Terciolo, y continúa en varios documentos de los siglos posteriores.
Los Tedmar (el nombre pasó a apellido, abandonando el de Mir) continuaron al frente del castillo, mientras el apellido evolucionaba a Xedmar, Xetmar, Xatmar y Xammar (esta última forma es la que aún pervive como apellido actualmente).
De todos modos, el castillo fue perdiendo su función militar y, pese a seguir siendo el centro del término de Castelltersol, se convirtió en una granja, y las tierras y la herrería que poseía, arrendadas a personas del término.
En la parte inferior del muro exterior hay numerosas saeteras, en algunos lugares dispuestas en dos hileras, y en todo el sector septentrional se conserva el foso, de fuerza profundidad y anchura.
Hay una puerta del siglo XVI, y una torre redonda aproximadamente de la misma época que sustituyó una anterior, románica, de planta cuadrada.