James fue el tercer hijo del Reverendo John Coleridge, el respetado vicario de la Iglesia de Santa María, Ottery St Mary, y fue director de la King's School, una escuela de gramática gratuita establecida por el Rey Enrique VIII en la ciudad.
Anteriormente había sido director de la Escuela de Hugh Squier en South Molton, Devon, y conferenciante en Molland, cercano.
[1] James obtuvo su capitanía durante el período de las Guerras Revolucionarias Francesas y luego fue ascendido a Coronel.
Durante las Guerras Napoleónicas, escoltó prisioneros franceses a la HM Prison Dartmoor.
[3]Tuvieron seis hijos sobrevivientes, incluyendo a Sir John Taylor Coleridge, futuro juez de la Corte del Rey, y Henry Nelson Coleridge, el editor de las obras de Samuel Taylor Coleridge.