Paseando por la ribera portuense, justo casi en un extremo de la ciudad, junto al famoso "Penal del Puerto" se encuentra el monasterio más antiguo de la ciudad. La fecha de su fachada, 1851, confunde a veces sobre la verdadera antigüedad del convento. Sin embargo, esta es tan sólo el reflejo de una de sus restauraciones, pues tras sus muros se encuentra uno de los primitivos indicios de la religiosidad en El Puerto.
Perteneciente en la actualidad a las Reverendas Madres Canónigas de la Regla de San Agustín fue en sus primeros momentos encomienda priorato de "Sancti Spiritus y San Telmo". El fundador de esta orden, el beato Guido de Montpellier, estableció una regla muy especial de la que el Convento del Espíritu Santo portuense fue el único en seguirla hasta las últimas consecuencias en Andalucía. Su regla establecía la necesidad de contar con un hospital, con una comunidad doble, masculina y femenina, gobernada por un prior, y con una cofradía. Los miembros de esta deberían hacerse cargo de mantener con sus aportaciones las cargas económicas que suponía la práctica de la hospitalidad. Las principales familias de la ciudad debieron hacerse cargo de ello pues los gastos fueron desde el primer momento cuantiosos.
Desde principios del siglo XVI existió en El Puerto de Santa María un hospital, bajo el doble título del Espíritu Santo y San Telmo. La dedicación a este santo no estuvo clara pero no se puede olvidar que este era el protector de todos los navegantes en la Península Ibérica. El apóstol dominico, de origen gallego, sustituirá a San Erasmo, bajo cuya protección se encontraban los navegantes en la Península italiana. Con el nombre de este santo italiano, San Erasmo, era nombrado el convento portuense en Roma.