Su padre era un rico cirujano, miembro del Real Colegio de Cirujanos de Edimburgo, el doctor Francis Cadell (1844-1909), quien en sus ratos libres también era pintor aficionado;[1] su madre, Mary Hamilton Boileau (1853-1907), pertenecía a la alta sociedad y tenía ascendencia francesa.
De vuelta al Reino Unido, expuso regularmente en Edinburgo, Glasgow y Londres.
Cadell replicó al instante: Señor, ¿y Miguel Ángel no fue grande pintando con la mano izquierda?
[4][5] Cadell pasó casi toda su vida adulta en Escocia y tuvo poco contacto con las nuevas ideas artísticas que triunfaban en el extranjero.
Su trato con él y su estrecha relación con el arquitecto Reginald Fairlie, además de otros detalles de su vida, hacen que los estudiosos consideren que Cadell era homosexual.
[7][8] Durante este tiempo, trabó amistad con Reginald Fairlie, quien residía en el n.º 7 de la misma plaza, y cuya relación perduraría siempre.
[4][11] En 1932, Cadell sufrió un robo violento y en 1935 tuvo graves heridas al caer de un tranvía.