Nacido en San Francisco, California, su verdadero nombre era Charles John Conklin.
Afirmando ser uno de los originales Keystone Cops, el maquillaje que Conklin utilizó en su carrera en el cine mudo consistía en una gruesa ceja y un bigote pintado, delgado y puesto del revés, que asemejaba al utilizado por Guillermo II de Alemania.
Su carrera en el cine sonoro se desarrolló con personajes de reparto en cortos cómicos protagonizados por Los tres chiflados, Andy Clyde, Hugh Herbert y Harry Langdon.
La última película en la que aparecía en los créditos fue Abbott and Costello meet the Keystone Kops.
Heinie Conklin falleció en Hollywood, California, en 1959, quince días después de cumplir los 73 años.