Arias provenía de una prominente familia política de Panamá, cuyos miembros habían alcanzado la presidencia cuatro veces; entre ellos, su propio padre, Harmodio Arias.
Arias fue educado en Peddie School en Highstown, Nueva Jersey, y en St.
En 1955, Arias se casó con la gran bailarina inglesa Margot Fonteyn, tras divorciarse de su primera esposa, con quien tuvo tres hijos.
Dame Margot fue deportada inmediatamente a Inglaterra y Arias se refugió en la embajada de Brasil por dos meses antes de que se le diera un salvo conducto fuera del país.
En mayo de 1964 fue elegido en la Asamblea Nacional, ésta fue su primera incursión en la política activa.