Rozsáhlý zámecký areál obklopený přírodně krajinářským parkem tvoří složitý soubor budov a křídel se třemi uzavřenými nádvořími a francouzskou zahradou ohraničenou arkádovými křídly. Areál zámku těsně sousedící s městským kostelem sv. Jakuba tvoří intaktní urbanistický celek s náměstím Zachariáše z Hradce, na které přímo navazuje. Nejstarší část původně gotického hradu je soustředěna v severovýchodní části zámeckého areálu kolem tzv. malého dvorku, zvaného též horní nádvoří. Starý palác bývalého hradu vymezující východní část nádvoří je jednokřídlý, dvoupatrový, s renesančními štíty. Fasáda jižního průčelí směrem do zahrady je zdobena renesančním reliéfem Poseidona. V jihovýchodním i severovýchodním nároží vystupují z hmoty paláce hranolové věže doplněné schodišťovou vížkou. Mezi věžemi se rozkládá terasa podepřená vysokou hradební zdí. Horní nádvoří uzavírá z jihu tzv. zbrojnice a ze severu spojovací chodba s arkádami. Západní část horního nádvoří uzavírá lomená arkáda, která zároveň vymezuje východní část hlavního polygonálního nádvoří, zvaného též nádvoří arkádové. V klenuté nice východní arkádové chodby je umístěno nadživotní sousoší Adama a Evy. Lomená arkádová chodba ústí do hmoty jižního renesančního paláce. Dvouposchoďový obytný palác půdorysu L uzavírá z jihu hlavní nádvoří a zároveň vymezuje plochu čestného dvora ohraničeného zídkou s pilířovým oplocením a vstupní bránou. Z východního průčelí paláce vybíhá kaple Všech svatých s polygonálním závěrem. Kaple je přístupná z průjezdu jižního paláce, který propojuje čestný dvůr s hlavním nádvořím. V průjezdu je umístěna i dvojice soch znázorňující sv. Vavřince a sv. Floriána. Před kaplí jsou na čestném dvoře situována pozdně renesanční kamenná sloupková boží muka. Výrazně protáhlý severní palác s traktem kuchyně vymezuje ze severu plochu hlavního i dolního nádvoří, která od sebe odděluje tzv. západní arkáda spojující severní a jižní palác. Ze severozápadního nároží severního paláce vystupuje polygonální věž. Dolní nádvoří s kašnou se špatně identifikovatelným sousoším je označováno jako hospodářský dvůr vymezený z jihu bývalou kočárovnou a ze západu bývalým pivovarem, který se v tupém úhlu napojuje na severní palác. Ze západního průčelí bývalého pivovaru vystupuje hranolová věž. Zámecká průčelí směrem do parku doplňují terasy podepřené mohutnou hradební zdí. Areál zámku směrem k náměstí rozšiřuje tzv. francouzská zahrada vymezená po východní a jižní straně přízemními arkádovými chodbami. Východní arkáda je propojena s přízemním renesančním křídlem s polygonální vížkou v jihovýchodním nároží. Severní část zahrady určuje přízemní renesanční křídlo přiléhající k hmotě starého paláce hradu. Uprostřed zahrady je do země zapuštěný kamenný bazén s fontánou. Komplex zámeckých budov doplňuje rozlehlý park založený v mírně svažitém terénu na břehu Ulického rybníka. Botanicky pestrý přírodně krajinářský park obehnaný ohradní zdí je protkaný sítí potůčků a pěšin. Jasnou kompozici obohacují výrazné solitéry včetně exotických dřevin. Významnou součástí parku je i klasicistní skleník sousedící s ulicí Slavatovská. Parter před skleníkem oživuje kamenný kruhový bazén s lekníny.