Nacido Meyer Grabovsky en Rîbnița, Imperio Ruso (actualmente Transnistria/Moldavia), Argov estudió en un jeder y luego en la Universidad de Kiev.
Se involucró en el activismo sionista en su juventud, encabezando el movimiento HeHalutz en Ucrania, y convirtiéndose en miembro del comité central Tzeiri Zion en 1917.
Fue arrestado por actividades sionistas en 1922, y nuevamente en 1924, tras lo cual fue expulsado de la Unión Soviética.
En 1927 emigró a Eretz Israel y trabajó en la agricultura.
En 1940 se ofreció como voluntario para el ejército británico y luchó en la Brigada Judía en Italia.