La presencia del cristianismo en la ciudad de Toledo se remonta al siglo I, si bien la religión no se extiende hasta comienzos del siglo IV, en la época de la persecución cristiana del emperador Diocleciano en la que suceden hechos como el martirio de Santa Leocadia.
El rey Alfonso VI reconquista la ciudad de Toledo en 1085 devolviendo su antiguo poder a la archidiócesis.
La sede episcopal participa activamente en la Reconquista, asumiendo el territorio que se conquistaba, y alentando en su territorio la expansión de las Órdenes militares de Santiago, Calatrava y Alcántara.
En el siglo XV, la diócesis toledana creció en jurisdicción, quedando bajo su provincia eclesiástica las diócesis de Palencia, Osma, Segovia, Sigüenza, Cuenca (creada en 1183 y que sigue formando parte de la provincia eclesiástica), Córdoba y Jaén.
Solo las diócesis de Cuenca y Sigüenza-Guadalajara han permanecido en la provincia eclesiástica.