Budova v minulosti několikrát zásadně změnila svou podobu i využití. Zprvu tu stála věž a hradba probíhající mezi Hrádkem a Vlašským dvorem, k ní byla přistavěna předhusitská škola při kostele sv. Jakuba. V letech 1594–1595 tady vznikla velkolepá renesanční partikulární škola a od roku 1676 zde sídlí arciděkanství. Hlavní portál vytvořil z červeného sliveneckého mramoru v roce 1595 kameník Pavel z Prahy a je jediným prvkem, který zbyl z renesanční podoby objektu. Tehdy spočívalo nad hlavní římsou deset typických obloučkových štítů a fasády pokrývaly malby místního malíře Mikuláše Kocourovského.