Jádro dnešního zámku tvoří tzv. starý konvent cisterciáckého kláštera, který stál u hlavní brány kláštera, z východní strany přiléhal kostel sv. Filipa a Jakuba. Po husitských válkách byl život kláštera soustředěn právě sem, zde sídlil i opat Snopek, když obnovoval nový tzv. konvent u chrámu Nanebevzetí Panny Marie. Po zrušení kláštera byl v roce 1817 zbořen přilehlý kostel sv. Filipa a Jakuba a po roce 1820 budovy koupil Bedřich Karel, kníže ze Schwarzenberka, a přestavěl je na zámek.