Foss se graduó en la Portsmouth High School de New Hampshire y luego se licenció en la Universidad de Brown (1882).
Empezó a trabajar como bibliotecario en 1898, en la Biblioteca Pública de Somerville, en Massachusetts, y en los trece años que le consagró la transformó en la segunda biblioteca más grande de Nueva Inglaterra por circulación de fondos.
Durante este periodo colaboró regularmente en el Christian Science Monitor.
Firmó un contrato para publicar un poema al día en los periódicos, y los cinco volúmenes en que recogió estos trabajos están consagrados a cantar al hombre corriente, de una forma sencilla.
Tal vez el poema que mejor expresa esa temática y estilo es el famoso titulado House by the Side of the Road ("La casa al lado del camino"), incluido en su libro Dreams in Homespun (1897).