El «Hospicio» que en la ciudad tenían los Padres de San Fernando, se convirtió en 1737 en una magnífica fundación. Un siglo después, a causa de la exclaustración, pasó a manos de diversas entidades: la iglesia y sacristía al obispado;
el convento fue destinado a viviendas, y las dos capillas, que existían separadas del edificio de la iglesia, a una familia de Cádiz, que después hizo donación de ellas a la Cofradía del Carmen ya las Madres Agustinas, que habían sido instaladas en nuestro antiguo convento por el obispo D. Jaime Catalá.
Desde febrero de 1899 estaba en Cádiz el P. Estanislao Mª del Niño Jesús con intención de restaurar la fundación. El día 26 de dicho mes tomó posesión, aunque de forma totalmente privada, de nuestra antigua iglesia. Poco después llegó el P. Inocencio de Jesús María, que se encargó de llevar a término todos los trámites necesarios para la fundación canónica. Era Provincial de Castilla el P. Fernando de la Inmaculada Concepción y Obispo de Cádiz Mons. Rancés, benemérito bienhechor de la Orden, que cedió sin limitación alguna la propiedad de la iglesia y sus dependencias el 26 de agosto de 1899.
El 19 de septiembre, el párroco de San Antonio entregaba todo lo que era propiedad del Obispado al P. Inocencio, comenzándose la vida regular el 24 de octubre de 1899. Los religiosos que componían la comunidad, eran cuatro Padres y dos Hermanos. Desde el principio se vio la iglesia muy concurrida y fue la preferida de los gaditanos para celebrar sus actos religiosos. La devoción a la Virgen del Carmen no se había, ni mucho menos, extinguido, venerada especialmente en la maravillosa imagen atribuida a la Roldana, llamada “Porta Coeli”.
Hasta el año de 1941, no tuvo esta casa otras dependencias que las que fueron del capellán, unas habitaciones sobre la sacristía, que acomodaron y ampliaron aprovechando las naves laterales de la iglesia, sobre las que se construyeron las oficinas comunes. La parte baja tenía servidumbre de para las capillas de la Cofradía del Carmen y de las Madres Agustinas, teniendo con ellas, además, un pequeño patio en común. En estas condiciones la vida era incómoda.
Hecho un acuerdo en 1941, comenzaron inmediatamente las obras de reedificación del convento. Dejando sólo los muros maestros y levantando otro piso, se consiguió una residencia más cómoda y amplia. En 1964 el Sr. Obispo ofreció nos encargásemos de una parroquia de nueva fundación, que se instalaría en nuestra iglesia. Hecho el convenio, hubo que habilitar todo lo necesario para el buen funcionamiento de la misma.