Smith nació en Millville, Nueva Jersey,[1] en una familia cuáquera.
La familia paterna había amasado una considerable fortuna en el negocio del cristal.
Smith es conocido por sus aforismos y epigramas, que fue recogiendo en las sucesivas ediciones de Trivia.
Mantuvo amistad con Desmond MacCarthy, John Russell, R. C. Trevelyan, y Hugh Trevor-Roper.
[2] Su hermana Alys fue la primera esposa del filósofo Bertrand Russell, y su hermana Mary se casó con el historiador del arte Bernard Berenson.