A unos cien metros del castillo pasaba una vía romana secundaria.
Esta frontera es protegida por los fuertes de Agimont, Revogne, Lavaux y Rochefort.
Jean II de Berlo, señor Lavaux, fue el constructor del castillo hacia 1450.
En 1463, se enfrenta a Dinant y refuerza el castillo de Lavaux con los últimos avances militares para resistir cualquier ataque enemigo.
A finales del siglo XV, el castillo ya no es habitado por sus dueños; Solo la viuda de Berlo, desde 1482, terminó sus días en la fortaleza medio en ruinas.
Se casó en una fecha desconocida con su prima, Marie Valerie Locquenghien heredera del señorío de Pamele en Oudenaarde.
Henri Joachim Rouveroit, descendiente de Jacques Renard, construyó la gran escalera, obra cumbre del astillo.
El castillo ya no es habitada salvo por el abad Berard que actúa como mayordomo.
Abandonada por sus propietarios, el castillo de Lavaux-Sainte-Anne se desmorona a principios del siglo XX.