La preocupación por ella fue constante y contando desde sus inicios con presupuesto para la compra de libros y otros efectos, como lo atestiguan los catálogos manuscritos que en la actualidad se conservan en la Biblioteca.
La colección creció de forma admirable en la primera etapa del Colegio.
La historia del Real Colegio se interrumpió con la Guerra de la Independencia.
A la vuelta del Colegio a Segovia, se repusieron las pérdidas y en 1816 se construyó una bella estantería con capacidad para 13.000 volúmenes en la Sala de Reyes del Alcázar.
La Biblioteca estuvo situada en distintas dependencias, destacando el periodo en el que se asentó en el claustro plateresco, pero en la actualidad se encuentra enclavada en la planta alta de la fachada principal de la Academia.
Abundan en ellos los exlibris y dedicatorias que aclaran en muchos casos su procedencia.
José Gómez Arteche y Moro, fue un gran aficionado investigador de la historia, consultando documentación en archivos.