Areál zámku byl v minulosti velmi rozsáhlý, dnes je jako nemovitá kulturní památka zapsáno cca 2/3 původní rozlohy. Původní hrad se nacházel v jihozápadní části areálu na skalnatém ostrohu. Vlastní hrad byl dle dochovaných pramenů dvoudílný, obklopený ve skále tesaným dvojitým příkopem s navazujícím předhradím, jehož hranice nebyla přes dílčí archeologický průzkum přesně stanovena. V současnosti areál zámku sestává ze 3 nádvoří a bývalého severního předhradí hradu. Hlavní vstup do areálu je průjezdem v severovýchodní části I. nádvoří, které je přestavěným bývalým předhradím. V této část je nádvoří ohraničeno objektem na půdorysu nepravidelného písmene U, v převážné části jednopatrovým, výše na svahu část severozápadního křídla pouze přízemní. V severovýchodním nároží je první ze tří zámeckých kašen. Část nádvoří u jižního křídla je v rovině, od ostatní plochy oddělena opěrnou zdí, podél níž postaven dřevěný přístřešek se sedlovou střechou kryjící torzo kmenu Krále smrků. U ohradní zdi na severní části nádvoří mezi severním křídlem I. nádvoří a bývalou konírnou další kašna. Zbytek severní strany I. nádvoří je uzavřen ohradní zdí v níž brána k Haselbergu. Na jižní straně mezi jižním křídlem I. nádvoří a bránou na II. nádvoří ohradní zeď, za níž ve svahu k přístupové cestě zahrada. V zahradě na úrovni západního nároží je postaven kolmo k jižnímu křídlu objekt „Arkád“ zakončený věží nad přístupovou cestou. II. nádvoří přístupné průjezdem v přízemí štíhlé čtvercové věže. II. nádvoří byla pravděpodobně dolním hradem. Nádvoří je z jihovýchodní strany uzavřeno dvoupatrovým křídlem, JZ křídlo se vstupem do muzea je rovněž dvoupatrové. SV křídlo je v návaznosti na bránu rovněž dvoupatrové, v severní části nad terasou jednopatrové. K severní části přistavěna kaple Evangelistů. Na západní straně kaple sv. Josefa. V těchto místech se pravděpodobně nacházel původní hradní palác. V navazující části SV křídla je dochovaná černá kuchyně. III. nádvoří je pravděpodobně původním horním hradem. V jihozápadním nároží je donjon zvaný Vlčkova věž, napojená na JZ křídlo II. nádvoří - jižní křídlo III. nádvoří s dnes umístěními kancelářemi muzea. V SV části III. nádvoří se k hradbě mezi III. nádvořím a severním předhradím přimykal drobný hospodářský objekt, z něhož dnes dochovány pouze obvodové stěny. Na stuku obvodové hradby s hradbou mezi III. nádvořím a severním předhradím půlválcová bašta. Prostor na sever od původní hradu byl ovládán velkou předsunutou baštou zv. Hrádek (Házlburk), z níž dochována pouze vnitřní hradba s bránou a válcová věž. K areálu zámku patřily další objekty mimo rozsah dnešního zámku – kolny (parc.č. 368, v nedávné době stržené) a byty (parc.č. 238) s verandou s kamennými sloupy.