En 1130 se mejoraron las defensas y se construyó una gran sala de piedra en el patio interior.
La familia de Enysford mantuvo el castillo hasta que su línea masculina se extinguió en 1261, cuando se dividió a partes iguales entre las familias Heringaud y de Criol.
Un juez real, William Inge, compró la mitad del castillo en 1307, y se produjeron discusiones entre él y su copropietario, Nicholas de Criol, que saqueó Eynsford en 1312.
El castillo nunca fue reocupado y cayó en ruinas, y en el siglo XVIII se utilizó para albergar perreras y establos de caza.
En el siglo XXI, el castillo de Eynsford es gestionado por English Heritage y está abierto a los visitantes.