El monasterio se constituyó como un priorato de provisión romana dado en encomienda desde sus primeros años. Las primeras noticias que hablan de ello se remontan al momento en que el priorato acababa de quedar vacante por muerte de su titular, por lo cual se había pedido la intervención en la casa, del señor de la villa, el duque de Medinaceli, y Conde de El Puerto, don Juan de la Cerda. Por esta situación se cruzaban cartas con su priorato romano y se le comunicaba la existencia según el estilo de la orden del hospital, donde se decía de la existencia de la cofradía de su mismo título, "que acostumbraba a enterrar con especiales honras a sus cofrades, para lo cual contaba con andas propias, la utilización de las cuales se consideraba como una distinción no despreciable". Es interesante la información que se da ya en el siglo XVI sobre el propio edificio hospitalario en el que se estaban haciendo obras de transformación importantes, que en nada desmerecían a las que se venían realizando en los grandes monasterios de la villa de El Puerto de Santa María, los de la Victoria y el de San Francisco, entonces en plena construcción. En unas notas del archivo de la actual comunidad, que, según dice Sancho de Sopranis, encabezaban otras sobre la fábrica de la tercera iglesia del Monasterio, entre ciertas inexactitudes perfectamente explicables a la distancia de tres siglos, se lee: "El convento de la Victoria se fundó en 1502, consta se hizo tras los corrales del Convento del Espíritu Santo. Consta se fundo nuestro convento en un hospital del Señor San Blas (sic) y que de nuestra iglesia sacaron al Santísimo Sacramento para estrenar la iglesia mayor prioral". La importancia de estos datos confirman la mayor antigüedad del Monasterio que ahora se visita.
Sin embargo, mucho habría de cambiar su aspecto, pues el 13 de junio de 1674 se comenzó a derribar la iglesia que amenazaba ruina. Es en este momento, y siempre siguiendo las anotaciones de Sancho de Sopranis, "cuando en los cimientos se encontró un azulejo con la cruz de Sancti Spiritus y un número uno, por lo que no se pudo conjeturar que año había sido labrada nuestra iglesia antigua". Anecdóticamente, recoge también el descubrimiento de la losa de una sepultura cuya inscripción "decía haber trescientos años se había enterrado en ella Isabel la gangosa". Lamentablemente de esta losa se hicieron dos pilitas para agua bendita que se colocaron una en la iglesia y otra en el coro.
Otra lápida que también daba fe de la antigüedad del monasterio era la de Don Pedro Suárez, canónigo de la iglesia metropolitana de Sevilla. En ella según leyó el citado autor en los archivos del convento se decía que "... estando en la ciudad del Puerto de Santa María falleció lunes entre las once y la una del mediodía que se contaron veintitrés de noviembre de dicho año 1546. Y se mandó enterrar en este convento porque tenía parientas religiosas y se puso en su sepulcro la losa que ahí se verá con su nombre". Desgraciadamente esta desapareció en la remodelación realizada en el templo en 1775, cuya obra dirigía el maestro Diego Vidal. Por esto datos se puede asegurar que el hospital era anterior a 1500, ya que en él se daba sepultura por los años de 1474 aproximadamente. Además, la comunidad femenina se debió constituir, pocos años antes de 1546, momento en que como se ha visto daba enterramiento en la capilla mayor de su iglesia.
Por lo que se refiere a la existencia de una comunidad doble, masculina y femenina se puede asegurar que esto sólo ocurrió al principio, quedando sólo como convento femenino a mediados del siglo XVI. De hecho cuando se otorgan las escrituras para la fundación del Convento de San Cristóbal en Jerez de la Frontera, los monjes ya no aparecen en ella. Pese a ello, en un primer momento, las religiosas no siguieron una clausura estricta, aunque observaron cierto retiro.
De esta forma permanecieron las hermanas durante todo el siglo XVII y XVIII, sufriendo los diversos avatares que el destino fue poniendo ante la comunidad. Así, padecieron, en el propio monasterio, la invasión de las tropas inglesas y holandesas en 1702, cuando llegaron a la ciudad durante la Guerra de Sucesión. Es en este momento cuando perderan parte de su legado documental. Pero no será esta la última vez, pues durante la Guerra de Independencia, el convento fue usado como cuadras. Aún muestran las hermanas las huellas de esta ocupación, bien visibles en sus rejas y muros.
Sin embargo, la constancia de las religiosas, con numerosas dificultades, les permite mantenerse aun dentro de su aislado recinto. En 1970, ante la complicada situación en la que se encontraban debieron rehacer parte del monasterio perdiendo parte de su superficie, con cuya venta consiguieron mantenerse a flote. En la actualidad, y ante los nuevos problemas han debido readaptarse para poder seguir manteniendo su clausura, única en España, ya que el resto de conventos femeninos de su orden se dedican a la vida activa. No obstante, poseen un Colegio femenino que imparte enseñanza hasta cuarto de secundaria. En este, tan sólo dos monjas se ocupan de la enseñanza, siendo el resto de los profesores seglares. Como tantos otros monasterios las catorce religiosas, cinco de ellas de origen keniata y dos novicias, que hoy habitan el Convento del Espíritu Santo han tenido que realizar toda clase de labores para llevar adelante su misión religiosa. De ellas el aroma del convento descubre su principal trabajo, la cocina. Los dulces, tocinos de cielo, pastas de San Blas, y sultanas, junto con las tartas de manzana o las encomiendas para Navidad facilitan su mantenimiento y endulzan las vidas de los numerosos clientes que se acercan al torno.