Fueron sus padrinos su tía paterna, Juana de Austria y su tío materno, el archiduque Wenceslao.
Después de Fernando, nacerían cuatro hijos más; Carlos Lorenzo en 1573, Diego en 1575, Felipe en 1578 y María en 1580.
Además, es posible que conscientes de la alta tasa de mortalidad infantil habitual en esos tiempos, Felipe y Ana pudieran temer crear vínculos afectivos muy estrechos con sus hijos pequeños, solo para verlos morir luego, dejándolos devastados.
Aunque la leyenda negra lo presentó como un hombre frío, en realidad era un padre cariñoso.
Cuando regresó de Portugal, trajo muchos dulces y mermeladas para ellos.