Židovská synagoga byla postavena v roce 1875 a sloužila bohoslužebným účelům početné židovské obce až do druhé světové války. Dne 22. června 1941 byla budova přepadena skupinou gestapa a místních členů Vlajky a totálně zdemolována. Za své vzalo veškeré vnitřní vybavení, varhany, křišťálový lustr, bohoslužebné náčiní, matriky, otlučeny byly židovské symboly. Trosky byly polity benzínem a zapáleny, ale protože se nepodařilo celou budovu vypálit, žhářský pokus byl opět zopakován 12. srpna. Hasičským sborům nebylo povoleno hořící budovu hasit, a tak vydrancovaná synagoga zůstala v ruinách. V listopadu téhož roku tyto ruiny zakoupilo město za 30.000 korun a určilo je ke zbourání.
Po druhé světové válce bylo rozhodnuto, že budova bude místo zbourání zrekonstruována jako kulturní dům. Sídlit zde měla Slovácká filharmonie, pěvecké sdružení Svatopluk a veřejná knihovna. Rekonstrukci provedli brigádnicky členové těchto organizací. Veřejná knihovna zabírala přízemí budovy a byla otevřena v září roku 1951.
Z původního interiéru synagogy se dochovaly pouze zdobené nosné litinové sloupy.
Dne 7. března 1966 celá budova vyhořela. V následujících dvou letech podstoupila další rekonstrukci a od této doby všechny její prostory slouží výhradně veřejné knihovně. Během ničivých povodní v červenci roku 1997 bylo přízemí knihovny zaplaveno vodou a celá budova utrpěla značné škody. Z tohoto důvodu v letech 1998-1999 podstoupila rekonstrukci interiérů.
