Hrádek je jednou z nejstarších budov ve městě a představuje výjimečné patricijské sídlo na okraji městských hradeb, v písemných pramenech je prvně zmiňovaný již v roce 1312. Dodnes tvoří jednu z nejdůležitějších dominant na údolní hraně říčky Vrchlice. Jádro objektu vzniklo ve 14. století a zásadní přestavba se uskutečnila po roce 1490, kdy jej vlastnil bohatý patricij Jan Smíšek z Vrchovišť. Následovaly další úpravy pro zřízení jezuitského semináře, školy, učitelského ústavu a nakonec muzea.

Vnější podoba Hrádku zachycená na fotografiích v našem archivu se dodnes takřka nezměnila. Významná je především první fotografie Hrádku od Vídeňana Andrease Grolla, který snímek severního arkýře pořídil z okna protějšího domu a zanechal na fotografii svůj podpis i odkaz na číslo v katalogu, podle nějž bylo možné si objednat reprodukci snímku.