Nacido en Asturias "de padres muy honrados", hizo sus primeros estudios tutelado por su tío, que fue canónigo en Jaén y después inquisidor en Granada, y los continuó en la Universidad de Irache para terminar doctorándose en 1824 en Leyes y Cánones en la de Valladolid.
Viajó con él a Roma para asistir a los cónclaves de 1829 y 1830 en que fueron elegidos papas Pío VIII y Gregorio XVI, y cuando en 1835 decayó la salud del cardenal, Fernández fue nombrado gobernador eclesiástico de la archidiócesis, cargo que desempeñó hasta la muerte de Inguanzo en enero del año siguiente.
[1] Fue por estas fechas que resultó encausado criminalmente en un proceso que supondría su retiro forzoso durante varios años: eran los tiempos de la Primera Guerra Carlista, en la que Carlos María Isidro de Borbón pretendía arrebatar el trono de España a Isabel II, todavía menor de edad, y a la regente María Cristina de Borbón-Dos Sicilias.
En este contexto Fernández hizo circular un rescripto de la Penitenciaría en el que se autorizaba la exención del pago de la bula de cruzada a los feligreses que así lo solicitaran, a cambio de que entregaran en concepto de limosna una cierta cantidad que debía ser establecida por el confesor; el caso era que de esta manera el erario público perdía unos ingresos de dinero importantes en un momento de grave inestabilidad política y crisis económica, y si bien en el juicio no se demostró que el dinero recaudado fuera a mantener a las fuerzas carlistas, fue hallado culpable de usurpar las regalías de la corona y condenado a seis años de cárcel, que cumplió primero en Madrid y después en Cádiz; posteriormente fue autorizado a residir en Sevilla y Jaén, donde su hermano Lorenzo era canónigo doctoral.
[2] Regresó a Toledo en 1844, y poco después fue nombrado vicario eclesiástico de Madrid y vocal de la junta de dotación del culto y clero, que estaba preparando el Concordato con la Santa Sede que se haría efectivo en 1851.