Starší gotická tvrz, uváděná v listinách ještě v roce 1577, byla pravděpodobně založena v místech zámku pro nižší šlechtu. Jako součást šumpersko-novohradského panství přešlo sídlo roku 1496 na Jana Staršího ze Žerotína. 1562 vlastnilo Velké Losiny město Šumperk. Roku 1569 se centrem panství stala losinská tvrz. Ta byla přestavěna v roce 1589 na renesanční zámek. V urbáři z roku 1577 je uvedena tvrz: „při tej vsi jest tvrz, dvůr, pivovar…“, zatímco v urbáři z roku 1589 je už zámek (Moravské zemské desky. III. sv. řady olomoucké, 1577, 1589). O dokončení zásadní přestavby svědčí i nápis kamenné desky nad portálem východního křídla vysokého zámku. Renesanční zámek obklopovala zahrada budovaná v letech 1580-1589. V blízkosti zámku byly dříve močály se sirnými prameny, které do roku 1592 byly odvodňovány. Držitelé zámku z rodu Žerotínů de facto založili losinské lázně v souvislosti s hospodařením a rozvojem panství. Po Bílé hoře Jan Jetřich ani Přemyslav II. do konce života nekonvertovali z rodového protestantství. Syn Přemyslavův Přemek III. (zemřel 1678) ze Žerotína však konvertoval na katolickou víru a začal prosazovat protireformaci. Během doby, kdy dědice po Přemkovi III., syny Jana Jáchyma a Maxmiliána, zastupovala poručnice, jejich teta Angelina Sybila Galle (rozená ze Žerotína), se panství stalo dějištěm velkých čarodějnických a heretických procesů. Následně za Jana Jáchyma (zemřel roku 1716) nastalo vrcholné období a rozkvět zámeckého sídla, tehdy evropské úrovně. Byla mj. dokončena stavba barokního křídla zámku s arkádami v místech dřívějších hospodářského dvora. Vzdělaný Jan Jáchym nashromáždil rozsáhlé umělecké sbírky evropské úrovně. Za syna Jana Ludvíka (1691-1761) byla v letech 1738-1742 budována nová zámecká kaple v západním křídle sjednocením dvou prostor nad sebou (kaple sv. Anděla a kaple Panny Marie). Nová fresková výzdoba byla ukončena v roce 1744, jak dokládá datum na severní stěně empory. Někdy v téže době byla postavena kašna na nádvoří u vysokého zámku. V letech 1731-1738 byla vybudována barokní zahrada se zahradním pavilonem, s umělým vodopádem, vodotryskem a sochařskými díly. V letech 1802-1945 byl zámek v majetku rodu Liechtenstein. Zámek se stal letním rodovým sídlem, z čehož plynuly i stavební změny jak zámku, tak zahrady, která se změnila na přírodně-krajinářský park anglického typu. S novým liechtensteinským panstvem přišel v roce 1806 na zámek i nový zahradník František Slabý, který působil v Moravském Krumlově u Karla III. Františka Antonína z Liechtensteinu. Patrně příbuzný zahradníka Slabého, knížecí zahradník Josef, je doložen i při úpravách zámeckého parku v Břežanech u Znojma. Projekt úprav parku pochází z roku 1818. Byl vybudován rybník a vysázena řada jehličnanů a dřevin. Z 19. století pochází řada klasicistních a empírových změn interiéru. Od roli 1945 je zámek v majetku státu. Poválečné období bylo rozhodující pro současný rozsah mobiliárních fondů.