Esta situación provisional duró hasta 1524, cuando Fadrique de Zúñiga y Sotomayor financió la construcción del convento junto al asentamiento original.
[4] Se estima que en sus primeros años vivían en el convento unos veinte frailes.
[6] Sin embargo, las instalaciones del convento no incluían una enfermería, por lo que los frailes que tuvieran problemas de salud debían ir a los hospitales de la ciudad, con el consiguiente gasto económico.
En 1583, el obispo Andrés de Noroña les entregó la ermita de San Cristóbal para construir sobre ella un nuevo convento urbano, pero no llegó a llevarse a cabo por oponerse a ello los franciscanos conventuales del convento de San Francisco.
El traslado a la ciudad se produjo finalmente en 1627, cuando cerca de la puerta de Berrozanas se construyó un convento para monjas descalzas; por problemas con la comunidad que iba a establecerse allí, se le cedió a los monjes de la Florida, quienes solamente estuvieron tres meses ante las quejas vecinales por no estar representado el concejo en el patronazgo, regresando así otra década más al convento de la Florida.