El Paseo de la Victoria fue construido en torno a 1734 convirtiéndose en el primer espacio público de la ciudad. Un lugar donde culminaba el acueducto subterráneo de la Piedad, conducciones de agua que llegaban desde los manantiales de Sidueña-Sierra de San Cristóbal para abastecer a la ciudad y surtir de agua ala flota fondeada en la Bahía.
El nuevo paseo fue construido a instancias del Capitán General D. Tomás de Idiáquez y gracias a la cesión de terrenos de alamedas y naranjales pertenecientes al cercano Monasterio de la Victoria.
Un lugar, que recordamos con sus fuentes y paseos, la ermita de los Caminantes y la conocida como "Caja de Aguas", ambas construcciones situadas a la entrada del paseo.
Un jardín romántico con fuentes, estanques y norias de agua. Árboles exóticos, emparrados de rosales, verjas y bancos de madera, jarrones, esculturas sobre pedestales, kioscos y farolas de gas que iluminaban un paseo que hacía "las delicias del visitante".
La gran transformación del Paseo de la Victoria tuvo lugar a comienzos del siglo XX cuando se construye, en terrenos del Paseo, la estación Sericícola para la crianza de gusanos de seda y la plantación de moreras, se construye una nueva fuente en sustitución de la anterior y se construye, a partir de los años 60, la carretera Nacional IV, el Instituto Pedro Muñoz Seca y la barriada Alcalde Juan Melgarejo. Intervenciones que seccionaron e hicieron desaparecer gran parte del jardín decimonónico de la Victoria.
El Paseo de la Victoria es recordado por generaciones de portuenses como el escenario donde se celebraban las veladas, paralelamente a la Feria del Ganado, y durante la festividad de la Virgen de los Milagros, "la septembrina".
Esta pequeña construcción situada extramuros de la ciudad, a la entrada del Paseo de la Victoria, se levantó a instancias de los conocidos como "Resguardos de Rentas", una especie de agentes aduaneros que llevaban a cabo el cobro y el control de las mercancías que entraban y salían de la ciudad. Serán éstos quienes pidieron permiso al Ayuntamiento para construir una ermita junto a la caja general de las aguas, situada a la entrada del Paseo de la Victoria, para resguardar una imagen de la Inmaculada Concepción que estaba a la intemperie y siendo objeto del vandalismo.
La capilla mantiene la estructura propia de construcción religiosas de tipo popular de proporciones reducidas, planta cuadrada, cubierta abovedada y altar interior. Se cierra mediante una reja que permitía la visión del interior y la contemplación del retablo, de estilo neoclásico, donde estuvo la talla de la Inmaculada Concepción. En 1895 la imagen sufrió daños considerables y tras su restauración pasó a la iglesia de San Joaquín.
Un edificio singular que sigue siendo punto de referencia para los peregrinos que hacen el camino del Rocío.