Nació en 1815, hija del irlandés Gryce Smith (1762-1816) y su esposa Mary Brodrick Mitchell (1765–1852).
La pareja huyó a los Estados Pontificios junto con Penelope, aprovechándose de un pasaporte expedido a favor de Patrick O'Connor, marino británico estacionado en Nápoles.
Como consecuencia del matrimonio, Fernando II retiró a su hermano todas las asignaciones que le correspondían como príncipe de las Dos-Sicilias.
Fruto del matrimonio, nacerían dos hijos: Dos años después del nacimiento de Victoria, hacia 1840, Fernando II envió al caballero Paolo Versace a Londres[6] para intentar un acuerdo con su hermano por mediación de Lord Palmerston, ministro de Asuntos Exteriores del gobierno británico.
[7] Hacia 1859, Carlos Fernando se acercó a Víctor Manuel II de Cerdeña; este monarca concedió a Carlos Fernando una asignación económica y el permiso para establecerse en Turín.