Por el lado de su madre, era sobrino del 3.er conde de Shaftesbury, famoso filósofo del que recibió muchas influencias.
Nació en Salisbury, donde efectuó sus primeros estudios, pasando posteriormente al Wadham College de Oxford.
En 1751 apareció su obra más conocida, Hermes, a philosophical inquiry concerning universal grammar.
Harris era un gran amante de la música y amigo de Haendel, y dirigió conciertos y festivales de música en Salisbury, durante casi cincuenta años.
Las obras de Harris fueron recogidas y publicadas en 1801 por su hijo, James Harris, primer conde de Malmesbury.