Stavba objektu započala v roce 1654 na pozemcích, které poskytlo jezuitům město. Založení stavby nebylo jednoduché, podloží bylo zvodnělé, proto musely být veškeré základy pilotovány dubovými trámy. V roce 1662 začal objekt sloužit jako kolej, v rámci reformy Josefa II. zde vznikla kasárna a lazaret. V polovině 20. století zde našly místo provozovny drobných služeb. Rekonstrukce završená v roce 2012 očistila prostory od parazitních příček a úprav a objekt slouží kulturním účelům, nachází se zde např. Galerie Joži Uprky, Expozice dějin města, Městské informační centrum, prodejna tradičních lidových výrobků atd.
