Klášter byl založen v roce 1490 správcem olomouckého biskupství Janem Filipcem, který je zde také pochován. Ještě před dokončením kláštera byli mniši donuceni v roce 1542 opustit objekt, který zůstal prázdný až do konce 16. století. Počátkem století následujícího se dostali ke slovu znovu katolíci a usadili v klášteře františkány maďarské. V roce 1646 byl požárem ve městě zasažen i klášter, o rok později došlo vlivem vichřice k dalšímu poškození objektu. K obnově dochází velmi pomalu a navíc zde byl v roce 1681 úmyslně založen požár, který se rychle rozšířil na celé město. V 18. století proběhly barokní úpravy uvnitř i vně objektu. Celému souboru dominuje vysoká klášterní věž zastřešená barokizující bání. V přízemí je umístěna pamětní deska připomínající zbořenou kapli sv. Rozálie.
Interiér kostela Zvěstování panny Marie je koncipován na způsob trojdílného stejnolodí a je dodatečně zaklenut raně barokními valenými lunetovými klenbami dosedajícími na svazkové pilíře s mocnými římsovými hlavicemi. V presbytáři je užita česká klenba a v závěru koncha s lunetami. Štukový dekor kleneb kostela je raně barokní s antikizujícími motivy.
Vstupní průčelí kláštera je sevřeno mezi západní průčelí kostela a boční průčelí činžovního domu v ulici Františkánské. Hlavní vchod je orámován portálkem, v jehož tympanonu se nachází boltcová kartuše se znakem uherské františkánské provincie. Fasáda kvadratury je ploše pojatá, vyrůstá z průběžného soklu s obloukovou římsou, nahoře je uzavřena profilovanou římsou korunní.
Z jižní strany je vstup s pravoúhlým pískovcovým portálkem s nadsvětlíkem a reliéfní znak biskupa Jana Filipce, který sem byl druhotně umístěn. Západní i severní průčelí je rovněž v barokním stylu. Čtvercové nádvoří kvadratury je lemováno stěnami s vysokým pilastrovým řádem a pětinásobnou půlkruhovou slepou arkaturou ambitu. Celé přízemí je zaklenuto barokními lunetovými klenbami.
Pozoruhodný je barokní interiér slavnostního sálu refektáře, v němž jsou ústřední výzdobou klenby štuková oválná zrcadla s freskami Zvěstování Pany Marie a Apotheosou sv. Františka, sv. Amanda a sv. Anny. Plocha klenby je zaplněna těžkým palmetovým ovocným a květinovým štukovým dekorem i medailony s reliéfními postavami světců a andílků. K provedení této štukové výzdoby interiérů byl povolán významný barokní sochař a štukatér Baltazar Fontana. V lunetách jsou umístěny olejomalby na plátně, po stranách vestavěné barokní skříně. Severní průčelí sálu je vyplněno obrazem Večeře Páně. Sál se právem označuje za nejkrásnější interiér města a řadí se k nejlépe dochovaným barokním interiérům na Moravě. Jeho restaurování bylo dokončeno v roce 2000.
V roce 1996 byla dokončena rekonstrukce objektu, jejíž kvalita byla oceněna udělením titulu Dům roku 1996. Ve svém souhrnu představuje soubor františkánského kláštera přitažlivou kulturní památku přesahující místní význam.
