[1] Los irlandeses se agruparon en torno a la ermita de San Joaquín y Santa Ana[2] Tras el traslado del colegio a la calle del Humilladero hacia 1635, se constituyó el convento premonstratense siendo iniciado por el monje fray Antonio de la Torre y bajo el patronazgo de Juan de Chaves, ya conde de Santa Cruz.
[3][4][5][6][7] Tras la invasión napoleónica el convento quedó maltrecho y fue arreglado con sencillez.
La portada de la iglesia se disponía por un cuerpo bajo en el que se disponía una puerta en arco flanqueada por dos pilares, sobre este cuerpo se encontraba una hornacina con guardapolvos.
El interior del convento contaba con una capilla dedicada a la imagen de Nuestra Señora de los Afligidos, que daba el nombre popular al convento.
[11] En el interior del convento se contenían también otras reliquias como el cuerpo de Santa Columba o la cruz de San Julián.