Su padre trabajaba en un negocio familiar de contabilidad, y no tuvo éxito como comerciante con las Indias Orientales.
Se quedó huérfano siendo muy joven y fue adoptado por su tío materno, William Lee Antonie.
Tomó el apellido Lee en 1816 a petición de su tío.
En 1855 se casó de nuevo, con Louisa Catherine Heath.
Las propiedades incluían Colworth House cerca de Sharnbrook en Bedfordshire y Totteridge Park, antiguamente en Hertfordshire.