Anne fue hija de George Digby, II conde de Bristol, y Lady Anne Russell.
Según Samuel Pepys, el conde dijo a sus amistades tener razones suficientes para ello, mostrándose resuelto a no casarse jamás con Anne, si bien empezó a cambiar de opinión al poco tiempo, circunstancia aprovechada por las madres de ambos para lograr una reconciliación entre la pareja.
Hubo rumores que afirmaban que Anne mantuvo un idilio con Henry Sydney, I conde de Romney, tío de su esposo, lo cual no parece probable teniendo en cuenta la aprobación de la amistad entre ella y Henry por parte de Robert.
Considerada una mujer de buen carácter, su devoción por su esposo nunca fue cuestionada, afirmándose que el feliz matrimonio del conde fue uno de los principales motivos que lo ayudaron a soportar un vida llena de infelicidad.
Anne tuvo cinco hijos con Robert, de los cuales sólo uno la sobrevivió: Por sus cartas se deduce que Anne tuvo otros dos hijos, muertos ambos a temprana edad.