El convento fue fundado en 1490 por doña Isabel de León Farfián, aunque de esa primitiva fundación tan sólo se conserva un claustro. La iglesia del convento fue diseñada por Alonso de Vandelvira en 1602. Su portada principal, trazada por el mismo arquitecto es un poco posterior, de 1609. En su ático se conserva un relieve de la Visitación realizado por Andrés de Ocampo.
Su retablo mayor es muy interesante pues fue diseñado por Juan de Mesa y realizado por el maestro entallador y ensamblador Antonio de Santa Cruz en 1624. Las pinturas, que originariamente lo decoraban se debieron a la mano de Juan del Castillo. En la actualidad en el retablo de este artista sólo quedan el Nacimiento de San Juan, el San Juanito del ático y el Buen Pastor de la Puerta del Sagrario. El resto de las pinturas se perdieron en el saqueo del mariscal Soult. Distinta suerte corrieron otras pinturas de Juan del Castillo. Los lienzos de la Adoración de los Reyes Magos y el Descanso en la huida a Egipto aún se conservan en un retablo hornacina situado a los pies del muro de la iglesia.
Para culminar con las obras relacionadas con los años en que Velázquez debió de conocer el convento se debe citar el retablo de un sólo cuerpo más ático trazado en 1610 por Juan de Oviedo y realizado en torno a 1614 por Juan Martínez Montañés. El crucificado que contiene es obra de Juan de Mesa realizada en torno a 1622.
Del primer tercio del siglo XVII es el retablo de San Felipe Neri. Sin embargo, parece más interesante el retablo de San José, ejecutado en 1612 por Diego López Bueno.