Se pensaba que sufría alguna discapacidad intelectual hasta los seis años de edad.
Además, Gall comprobó que a los diez años el niño no sabía leer ni escribir.
Zerah fue escolarizado allí ocho meses, hasta que su padre lo sacó y regresaron a Inglaterra sumidos en una profunda pobreza.
Como consecuencia de la negativa de su padre a cumplir con ciertas condiciones propuestas por el conde, Zerah tuvo que abandonar Westminster, y su padre le propuso a Zerah que estudiase para convertirse en actor.
En Fairfield (Nueva York) trabajó como profesor asistente de una academia; pero no complacido con su situación, se mudó en marzo siguiente a Burlington (Vermont), donde enseñó francés, cursando sus estudios al mismo tiempo en la Universidad de Vermont.
A partir de entonces, parece que perdió sus facultades como calculista cuando alcanzó la edad adulta.
[8] Su sobrino, también llamado Zerah Colburn, era un destacado ingeniero de locomotoras y periodista técnico.