Entró en el Comité para la Seguridad del Estado (KGB) en 1974.
Participó en la invasión soviética de Afganistán.
Con la disolución de la URSS, continuaría siendo miembro del Servicio Federal de Seguridad (FSB, sucesor en Rusia de la KGB) y de las reinstauradas Fuerzas Armadas de Rusia, siendo nombrado director del FSB en julio de 1996 y promovido a general del ejército en 1997.
En 1998, Yelstin lo destituiría del puesto de director del FSB para nombrar a Vladímir Putin, algunos apuntaron a que su destitución, así como otras previas como la del ministro de economía, Yakov Urinsón, fue para buscar «cabezas de turco» y dar una imagen de trabajo durante la crisis del rublo.
[3] En 1999, tras las elecciones legislativas, Kovaliov fue elegido diputado por Rusia Unida, cargo que ocupó hasta 2016.