[5][6] El fuerte, como la isla, cambió de manos varias veces entre los holandeses, los ingleses y los franceses.
Las otras son: La Batería Borbón, batería Ámsterdam (o Waterfort), Róterdam, Royal y Jussac, Fuerta Panga y la baterías Tumbledowndick (o Tommel Dijk), Concordia, San Luis, Corre Corre, de Windt, Nassau, Dolijn y Bouille más los restos del inacabada vluchtburg en el monte Gilboa.
En 1629, los franceses construyeron una fortaleza de madera en el lugar donde hoy se encuentra el Fuerte Oranje.
[17] El Fuerte Oranje original tenía forma cuadrada, con cuatro baluartes, un patio, y 16 cañones montados.
[9][10] Reforzaron las paredes con empalizadas dobles y construyeron un foso seco alrededor del fuerte.