En 1830, cuando Lilly tenía ocho años de edad, su familia emigró a los Estados Unidos.
Después de estar tres años en Nueva York marcharon a Marietta, Ohio.
Aunque muchos temieron que el matrimonio acabaría con su carrera artística, no fue así.
Lilly Martin Spencer tuvo trece hijos, siete de los cuales alcanzaron la edad adulta.
Sus críticos a menudo comentaban que la cabeza era más grande y desproporcionada respecto al cuerpo de las figuras.