Este antiguo edificio conventual apenas conserva la fisonomía del que en su origen fue el convento de San Agustín de El Puerto en el siglo XVI. Un edificio cuya transformación se remonta a las desamortizaciones del siglo XIX, fecha en que pasó a manos del Estado y, a partir de 1840, a convertirse en centro de enseñanza.
En los años cincuenta del pasado siglo, el edificio sufre los cambios más importantes y definitivos en sus adaptación a los nuevos usos, desapareciendo con ellos la mayor parte de las dependencias del convento, incluida la iglesia de San Agustín.
El convento de San Agustín se levantó en el año 1573 sobre la antigua ermita de la Encarnación, una fecha que coincide con fundaciones agustinas en otras ciudades cercanas y en el continente americano donde desempeñaron una importante labor con las misiones.
Un primer asentamiento de la orden agustina, la de El Puerto, que se fue ampliando gracias a la adquisición de propiedades colindantes, algunas adquiridas por la comunidad de agustinos, y muchas otras, recibidas en donación hasta conformar una gran edificio con fachada a cuatro calles: Misericordia, Palacios, Jesús de los Milagros y Alquiladores.
El edificio contaba con una iglesia, construida en el siglo XVII, derruida en los años veinte del pasado siglo con acceso por la calle Alquiladores, entonces era una calle sin salida, con fachada cerrando la calle. La iglesia era de una nave, con cuatro capillas laterales, amplio crucero cubierto con cúpula de media naranja y torre campanario.
La rehabilitación llevada a cabo a principios del siglo XXI ha conseguido recuperar algunos antiguos huecos en los muros y marcas que habían estado ocultas y que nos informan y vierten algo de luz sobre cómo debió ser un edificio que apenas conserva restos.
Del antiguo convento se conserva el gran claustro de planta cuadrada y galerías en sus cuatro frentes y doble altura.