En 1640 la comunidad tuvo intención de instalarse en Sanlúcar, lo que tuvo en contra el cabildo, que suplicó al IX duque de Medina Sidonia que no diera licencia para nuevas fundaciones religiosas en la ciudad, que ya eran demasiadas.
Al mes siguiente, los frailes se trasladaron a unas casa en el Carril Nuevo, al pie de La Barranca.
La Cofradía de Nuestra Señora del Carmen tiene la misma antigüedad que la comunidad.
En 1699, habiendo adquirido las casa de Felipe Manuel de Ávila Ponce de León, la comunidad se trasladó secretamente a la calle Ancha, conducta que irritó al Cabildo, que quería que allí se ubicara el Convento de la Compañía, y a los conventos de la Victoria y de Santo Domingo, que consideraban que la nueva residencia de la comunidad estaba en su territorio, que iniciaron pleito contra los carmelitas que ganaron estos últimos y finalmente en 1700 hicieron solemne procesión, haciendo oficial el traslado y cambiando la advocación original por la de Convento de la Orden de Nuestra Señora del Carmen Calzado La nueva iglesia era pequeña, baja y estrecha, de tres naves, con imágenes de San Elías, San Antonio de Padua y Nuestra Señora del Carmen, cuyo altar en la nave derecha servía de sagrario.
El convento fue desamortizado y en la actualidad no existe.