Su padre, que había sido un fiel partidario del rey Carlos I durante la Guerra Civil, murió en 1655, y Esmé y su madre se exiliaron en Francia.
Murió de viruela en 1660, a los 10 años, en París, cuando sus títulos pasaron a su primo hermano Carlos Estuardo, tercer duque de Richmond, sexto duque de Lennox (1638-1672).
Fue enterrado el 4 de septiembre de 1660[1] en la Abadía de Westminster, en la Bóveda de Richmond[2] en la Capilla de Enrique VII (ese rey había sido anteriormente Condé de Richmond encima de la cual sobrevive su sencillo monumento que comprende un conjunto de obelisco negro contra una pared y de pie sobre cuatro pequeños cráneos, coronados por una urna que contiene su corazón.
En el pedestal hay una corona ducal incisa y las letras "ES RL" (para Esme Stuart, Richmond, Lennox).
La inscripción en latín se puede traducir como:[3]