En las dovelas del arco de esta portada se puede leer aún la inscripción que indica que el palacio sirvió como Colegio de San Ildefonso.
En su interior alberga un patio renacentista de dos alturas, porticado en tres de sus lados, estando el muro orientado hacia el Norte totalmente tapiado para resguardo del frío, característica esta típica de los palacios vallisoletanos.
Cuando fue habilitado como colegio de las Hijas de Jesús se construyó la capilla, donde se emplaza la portada principal del edificio, y que conservaba un retablo barroco procedente de la iglesia del Rosarillo, ante el cual se inspiró la Madre Cándida, fundadora de la Congregación, para llevar a cabo su deseo de crear varios centros educativos.
El retablo es de un solo cuerpo, con la Santísima Trinidad dispuesta en vertical, y la Sagrada Familia, flanqueada por San Joaquín y Santa Ana, en horizontal.
Hasta hace unas décadas se creía que en él había estado preso Fray Luis de León, viniendo de ahí el nombre de la calle de Fray Luis de León,[2] pero se conocen documentos que fechan la estancia del poeta en años en los que los sótanos del edificio ya no funcionaban como cárcel.