Yelon nació en 1886 en un pequeño pueblo de Galitzia, entonces parte del Imperio austrohúngaro (más tarde parte de Polonia y actualmente en Ucrania).
Tras el final de la Primera Guerra Mundial, se mudó a Viena y en 1921 emigró a Eretz Israel, para vivir en Jerusalén.
Por invitación del rabino Lifshitz comenzó a enseñar en el Seminario de Maestros Mizrahi (actual Lifshitz College – Colegio Académico Religioso de Educación).
Yalon investigó profundamente los escritos de los Jajamim (Sabios judios), así como las escrituras del Tanaj y la literatura de los piyyutim (poesía litúrgica).
Yelon, que fue un experto en gramática y Mishná hebrea, vocalizó el texto en la edición de la Mishná de Hanoch Albeck.