Al poco de nacer, Carlos Fernando fue enviado a Flandes para que se criase bajo la protección del cardenal infante Fernando, hermano del rey y gobernador general de los Países Bajos españoles.
Casilda ocupó su puesto hasta su muerte en 1670, cinco años después del fallecimiento de Felipe IV.
Tuvo un hijo, Francisco Fernando de Austria que sería religioso agustino.
En un memorial de 1671 a la entonces reina-regente Mariana, Carlos Fernando declara estar casado y con tres hijos.
En sus ocupaciones como canónigo, Carlos Fernando mostró una gran diligencia en el cumplimiento de sus obligaciones.