El antiguo Colegio de San Luis Gonzaga, conocido como "Colegio de los Jesuitas de El Puerto", fue inaugurado en 1867. Su construcción se debió a la iniciativa de un grupo de familias de la burguesía local interesados en contar con un colegio de prestigio, situado en un lugar saludable y con extensión suficiente para que pudiera contar con todos los servicios necesarios a nivel académico y como residencia estudiantil.
El lugar idóneo lo encontraron en El Puerto de Santa María, en el conocido como ejido de San Francisco, en terrenos que fueron en su día del convento franciscano.
Un centro educativo regido por una de las órdenes religiosas con más prestigio en el ámbito educativo, la Compañía de Jesús.
El nuevo colegio de los jesuitas conservó la iglesia de San Francisco, el gran claustro porticado, el majestuoso y amplio vestíbulo desde el que arranca la escalera de acceso a la segunda planta, la fachada -orientada a la actual Plaza del Ave María-.
Uno de los periodos más gloriosos de este centro educativo se corresponde con los años 1875 y 1924 cuando era el centro más prestigiosos para el estudio de las letras, las ciencias y diversas profesiones. Entre sus alumnos más destacados se encontraban: Juan Ramón Jiménez, Fernando Villalón, Rafael Alberti, Pedro Muñoz Seca, Juan Gavala, Juan Guillo, "Modesto",....
A partir de 1924 fue noviciado, posteriormente, hospital militar durante la Guerra Civil, recuperando sus funciones educativas en 1962.
La que fuera biblioteca del colegio de los jesuitas es, sin duda, uno de los espacios originales más singulares y genuinos ya que conserva el mobiliario original de madera de pino de Flandes. En 1998 esta biblioteca pasó a ser el actual Archivo Histórico Municipal de El Puerto.
Actualmente, parte del antiguo colegio (Edificio San Luis), es la sede de distintas dependencias municipales.