Trvalo několik let, než jeptišky řádu sv. Voršily našly uvnitř hradeb města vhodné místo pro stavbu svého kláštera. Původní velkorysá koncepce totiž počítala s čtyřkřídlou budovou a velkým kostelem v ose, jejíž plány vytvořil architekt Kilián Ignác Dientzenhofer. Z finančních důvodů byla nakonec v letech 1735–1743 postavena pouze dvě a čtvrt křídla bez kostela, která až dodnes nedoznala zásadních změn ve své vnější podobě.