Destaca por sus establos abovedados, sus fachadas y los techos de sus pabellones.
Se halla hoy día en fase de restauración.
Sólo tres grandes torres redondas al noroeste y al sur pertenecen al castillo medieval, destruido en 1523 por las tropas de Carlos I de España en venganza por la resistencia encontrada en Bayona, cuyo alcalde era Juan II, señor de Agramont.
El castillo fue rápidamente reconstruido en estilo renacentista pero conservó el referente de los elementos defensivos medievales.
En 1793, se ordenó requisar el castillo y de sus dependencias en beneficio de la Nación y se instaló un hospital militar durante unos meses.