A középkorban Remete Szent Antal tiszteletére emelt kórháztemplom állt itt, mellette ispotállyal (kórházzal). 1360-ban Kálmán győri püspök (1337–75), Károly Róbert király fia, hívta a kisebb testvéreket a városfalon kívül üresen álló épület használható keleti és déli épületébe. 1360-ban az itáliai Szienai János ferences rendtársaival együtt építette fel gótikus stílusban – az alapfalaiban még ma is meglévő csarnoktemplomot – Szent András apostol tiszteletére. Az építkezés folyamán felhasználták a római épületek szerteszét heverő köveit is. 1526-os mohácsi vész után a testvéreknek az előrenyomuló török hadak miatt el kellett hagyniuk otthonukat, s csak 1537-ben térhettek vissza kis időre az időközben lepusztult épületbe. 1541-ben a reformáció áldozata lett mind a templom, mind a kolostor.
1633-ban Sennyei István győri püspök (1630–35) rendelkezése nyomán kezdték meg a felújítást. Két évvel később került sor a templom felszentelésére, melyről az okirat a gyóntató helyiségben tanúskodik: „Én, Sennyei István püspök, II. Ferdinánd uralkodó király kancellárja, felszentelem ezt a templomot, amelyet kb. 100 esztendő romjai után Isten segítségével újjá építtettem hozzá csatolván a templomhoz a kolostort, mivel a hagyomány szerint a kettő összetartozott. A monostort a mindenható Istennek, a dicsőséges Szűz Máriának, Szent Erzsébetnek, II. András király leányának, a szegények pártfogójának tiszteletére a ferenceseknek adta… Kelt Szombathelyen 1634. augusztus 2-án.” A templom berendezéséhez (főoltár, a Szűz Mária- és Szent Ferenc-oltárok) gróf Batthyány József adományai is hozzájárultak.
1637-ben a templom kriptájában temették el Sibrik Zsuzsannát, a királyi ügyek igazgatójának feleségét, akinek díszes sírköve a templom folyosóján látható. 
1639 után a kolostor lakóit „Szent Eörzsébet Assoni kalastromban leuő Franciscanus barát”-ként emlegették.
1677-től gyakoriak voltak a munkálatok a kolostoron és a templomon. 1687-ben emelték az orgona helyéül szolgáló kórust. 
1716 május 3-án tűz ütött ki a városban, a följegyzések szerint a templom tornya is áldozatul esett, a templom és a kolostor azonban átvészelte a pusztulást. Néhány év alatt helyreállították a károkat. A gótikus templom időközben barokk berendezést kapott. Így változtatták meg a Szent Ferenc oltárt, s így került a barokk oltárra Jézus Szíve és Szűz Mária szobra. A kolostor déli szárnyát 1730-ban emelték, mely a XX. század elején nyerte el mai formáját.
1770‑től a testvérek már a város gimnáziumában is elláttak hittanári és lelkivezetői feladatokat, 1817-ben pedig a városi börtönben siettek a rabok lelki segítségére. A város első óvodáját egy ferences testvér, P. Csepy Dömötör alapította. 1927-ben kezdték meg a nagy építkezést, majd 1935-ben folytatták a keleti szárny bővítésével kétemeletessé, mivel a Trianoni békediktátumot követően a Felvidékről (Nagyszombat) ide költözött a ferences rend hittudományi főiskolája. A templomot 1930-ban emelték plébánia rangjára. 1945-ben kb. 500 embernek nyújtott menedéket a megszentelt épület. 1950. július 11. éjszakáján a rendház szerzeteseit Gyöngyösre internálták. A lelkipásztori szolgálatot a szombathelyi egyházmegyére bízták. 1950 és 1989 között a Vakok Intézete működött itt, majd 1990-ben visszaköltözhettek a ferencesek. A rendház visszavétele után 1993-ig itt működött a Szűz Mária Tartomány központja.
Napjainkig több átalakítás történt az épületegyüttesen. Az egykori főiskola részéből Assisi Szent Ferenc Kollégium lett főiskolás hallgatók számára.
A gótikus templom belső tere különböző stílusjegyek nyomait viseli. A szentélyben a gótikus faragással ékesített ülőfülke egykor papi ülőhelyként funkcionált. A fülke mellett egy XIV. századból származó Szent Erzsébet-kép látható. Az egykori díszes stallumok elpusztultak.