Gegen offenbar erhebliche Widerstände der bereits in Esslingen niedergelassenen Bettelorden konnten die Karmeliter ab den 70er Jahren des 13.Jahrhunderts in Esslingen Fuß fassen. Im Jahre 1281 erlaubte das Domkapitel Speyer dem Karmeliterorden, in Esslingen ein Kloster auf dem Grundstück zu errichten, das ihnen geschenkt worden war. Allerdings - und dies bedeutet eine deutliche Beschränkung zu Gunsten der Pfarrei St. Dionysius und der in Esslingen schon angesiedelten Bettelorden - durften sie ohne Einwilligung der Stadtpfarrei keinen Bürger der Stadt beerdigen, nicht die Beichte abnehmen oder Testamente abfassen. In der wirtschaftliche Entwicklung so eingeschränkt, bestand das erste Kloster nur aus einer kleinen Kirche und einigen Fachwerkhäusern. Die bescheidene Bebauung wurde erst nach einem großen Brand ersetzt, zu einem Zeitpunkt, als sich der Orden konsolidiert hatte und die ursprünglichen Beschränkungen offenbar längst überwunden waren. Nach der Brandkatastrophe im Jahre 1455, die in den Schriftquellen überliefert ist, sich im archäologischen Befund jedoch weniger deutlich niedergeschlagen hat, entstand ein aufwendiger Neubau nach gängigem Grundrißschema. Da sich bei dem ehrgeizigen Projekt finanzielle Schwierigkeiten einstellten, kam es 1490 zur Fertigstellung - und bereits mit der Reformation Esslingens im Jahre 1532 findet dann die Klostergeschichte ihr Ende. Die Anlage ging 1556 in städtischen Besitz über, die Kirche wurde als erster Bauteil abgerissen, bis 1800 war das Kloster weitgehend verschwunden und machte dann kleinen Handwerkerhäusern Platz, die von einem Parkplatz abgelöst wurden, der schließlich dem Erweiterungsbau der Fachhochschule Technik weichen mußte.