Jorge Gustavo era el hijo primogénito del conde Jorge Juan I del Palatinado-Veldenz y de Ana María de Suecia.
En 1598 los hermanos se repartieron los territorios: Jorge Gustavo tomó de su padre un estado en bancarrota, conservó los condados de Veldenz y Lautereck, mientras que sus hermanos más jóvenes recibieron los otros territorios.
A principios del siglo XVII, Jorge Gustavo transformó el priorato benedictino de Lixheim en una ciudad de exiliados, que se convirtió en un asentamiento para refugiados religiosos reformados.
[1]En 1600, Jorge Gustavo llegó a un acuerdo con el ducado del Palatinado-Zweibrücken, por el cual su parte de Alsenz fue cedida a los habitantes de Zweibrücken.
[2] Jorge Gustavo, al igual que su madre, su segunda esposa y la hija del mismo nombre María Isabel, fue enterrado en la iglesia rectoral de San Remigio en Remigiusberg.