Cavelier contrajo nupcias con Silvia Castro Torres, con quien tuvo a sus hijos Jorge, Jaime y Luis Eduardo Cavelier Castro.
Silvia era sobrina nieta de Leopoldina Montejo Camero, esposa del periodista Francisco Santos Galvis, y madre de los periodistas Eduardo y Enrique Santos Montejo.
Eduardo fue presidente de Colombia y propietario del periódico El Tiempo, y Enrique trabajó como periodista en El Tiempo, siendo el padre de los también periodistas Hernando y Enrique Santos Castillo, de quien descienden el expresidente Juan Manuel Santos, y el exvicepresidente Francisco Santos.
Silvia también está emparentada por su tía abuela Leopoldina con el esposo de la periodista Consuelo Salgar, quien era bisnieta del expresidente Eustorgio Salgar.
Por último, era descendiente también del expresidente interino y abogado neogranadino Manuel Benito de Castro.