Pedro de Agén fue un eclesiástico aquitano castellanizado, obispo de Segovia desde 1112 hasta 1149, año en que murió y en que fue elegido su sucesor, el obispo Juan.
Oriundo de Agen, en Aquitania,[2 1] llegó a España a finales del siglo XI en el grupo de clérigos y doctos varones que el arzobispo de Toledo Bernardo de Sedirac trajo de Francia, y que posteriormente encabezarían numerosas diócesis de la península ibérica; entre estos se encontraban sus sobrinos Bernardo y Pedro, que después serían obispos respectivamente de Sigüenza y Palencia, Gerardo de Moissac, después arzobispo de Braga y santo, Pedro de Bourges y Raimundo de Osma, obispos de Osma, Bernardo y Jerónimo de Perigord, que lo serían de Zamora y Valencia, o Mauricio Burdino, antipapa.
[2] Cinco años después de llegar a la diócesis, consiguió que el concejo de la ciudad donase al cabildo de la misma, la ladera de la colina que se extendía desde la iglesia de San Andrés hasta el Alcázar, mandando construir sobre este terreno la primitiva catedral de Santa María, el claustro, un hospital, el palacio del obispo y un nuevo barrio, llamado La Claustra o Canonjía, que estaba aislado del resto de la ciudad por tres puertas que se cerraban de noche.
Este conjunto, junto al Alcázar, formaba un núcleo compacto, ya que el puente levadizo de la fortaleza se situaba a pocos metros de la puerta de la catedral.
[3] Además, traslada a la ciudad la mitad de los cuerpos de San Frutos, Santa Engracia y San Valentín, que fueron ubicados en la catedral en construcción.