Sümeg és környéke már a történelem előtti időkben is lakott volt, majd római tartomány része lett. A várostól nem messze, a Marcal-völgyben egy római települést és egy négyzet alakú castrumot, valamint egy háromhajós ókeresztény bazilika maradványait tárták fel. A 9. századi magyar törzsek hazatelepülése idején a területet a Lád nemzetség szállta meg. A nemzetség utolsó tagja, Bulcsú 955-ben halt meg az augsburgi csatában, így birtokát az Árpád nemzetség vette át. Mivel első keresztény királyunk, István az Árpád-házhoz tartozott, a birtok az övé volt. 1000 körül ezt a földet a veszprémi püspöknek adományozta.
Várszerű erődítmény állt itt már a keresztény király ellen lázadó Koppány vezér idejében is. A templomos lovagok Sümegen telepedtek le, és 1210 körül tették le a Várhegy déli oldalán a mai vár alapjait. Mások szerint a Kaplony nemzetségbeli Zlandus veszprémi püspök építette a vár magját 1260-70 között. Egyes történészek szerint azonban a Balogh nemzetségbeli Széchy Pál püspök idejében, 1263-75 között épült. Egy biztos, először 1292-ben említik, amikor Miklós nádor elfoglalta a várat.
Ekkor III. Endre király némi pénz fejében visszaadta a várat a veszprémi püspöknek. Akkoriban Sümegnek csak megerősített lakótornya lehetett. A falunak már 1340-ben volt temploma Gergely nevű pappal. A vár építése Unomi Miklós kasztellán idejében kezdődött, a 15. század közepén. Ekkor épült a külső és a belső kaputorony, valamint a kettő közötti várfal, és ekkor került a kapu fölé Vetési Albert püspök címere is, valamint elkészült a kapu mögötti gótikus kápolna is.
A 15. század végén Vitéz János püspök folytatta a kápolna építését. A vár első ostromára 1440-ben került sor, amikor a Rozgonyi Simon veszprémi püspök, Ulászló király hívének tulajdonában lévő sümegi vár sikeresen ellenállt a Szécsi-Kanizsai-Garai-Czillei Liga támadásának. Albert király özvegyének, Erzsébetnek. Ezt az ostromot Ulászló király 1442-ben kelt oklevele említi. Ekkor Unyomi Miklós sümegi várnagy volt. Talán ennek a támadásnak a tapasztalatai miatt Unyomi Miklós a várhegy teljes fennsíkját védőfallal vette körül 1471-ig. Mátyás király halála után Habsburg Maximilián serege elfoglalta a Dunántúlt, Vitéz János püspök pedig átadta neki Sümeg várát.
A vár helyőrsége ekkor egy várnagyból, egy alispánból, négy fegyveres őrből, hét kapuőrből, egy pékből és egy kertészből állt. A hadifelszerelés 4 ágyúból, 27 horogágyúból, fél lőporból, lándzsákból és nyílvesszőkből állt. Az őrség és felszerelés alacsony száma azt mutatja, hogy inkább gazdasági központ lehetett, mint fontos kastély. A váradi püspök idén devecseri Csoron Andrást nevezte ki sümegi kastellánnak, aki az északi fal és támpillérei építésével tovább erősítette a várat.
Amikor 1528-ban Kecseti Márton veszprémi püspök lett, visszakapta a püspökség birtokát, a sümegi várat. Csoron azonban csak akkor volt hajlandó átengedni a várat, ha visszakapja azt a több ezer aranyforintot, amit a vár megerősítésére költött. Ferdinánd király a kastély átadására is felszólította a várnagyot, amire végül 1537-ben került sor, de Csoron elvitte a kastély felszerelését, fegyverzetét és élelmet, hogy legalább pénzének egy részét visszakapja. Amikor 1543-ban a törökök elfoglalták Székesfehérvár várát, az oszmán terjeszkedés elérte a Balatont. Ezért helyezték el a veszprémi székesegyház kincseit a sümegi várban. Kecseti püspök azonban minden kincsével Pozsonyba menekült, és néhány év múlva áttért a protestáns hitre.
Amikor 1552-ben Veszprém török kézre került, Sümeg mintegy kétszáz évre a püspökség székhelye lett, ezért Köves András püspök megkezdte annak újjáépítését. A vár északi oldalán belső falakat emeltek, az északi fal védelmére pedig az úgynevezett Köves-bástyát. Az északi és keleti várfal mögé ágyútornyok épültek, a palota és a fellegvár megerősítése is befejeződött. Nyolc évnyi építkezés után 1562-ben villámcsapás okozta tűzvész tönkretette a kastély tetejét. Maximilian főherceg 200 aranyforintot különített el a javításra. 1569-ben Giulio Turco olasz hadmérnök is felmérte sümegi várat. Rajzai értékes bepillantást engednek számos magyarországi végvári kastély korabeli viszonyaiba.
Németi Gergely, Bocskai István erdélyi fejedelem hadvezére 1605-ben, a tizenöt éves háború idején 2000 hajdú katonájával és török-tatár csapatával átkelt a Dunán és elfoglalta Marcal vidékét. A Habsburg-ellenes háborúk ideje volt, és Újlaki püspök történetesen hűséges volt a Habsburg királyhoz. Egy Hagymási Kristóf nevű nemes és az ifjabb Nádasdy Tamás arisztokrata akaratlanul szolgálta a püspököt. Hamarosan akcióba lendültek, embereik csellel bejutottak a várba, a püspököt pedig halálra verték, fejét a várfalra fektették, szolgáit megesküdték Hagymási hűségére. A katonák azonnal követeket küldtek uruknak, hogy sietve jöjjön elfoglalni a kastélyt.
Közben megérkezett Németi tábornok, aki a megszállt várban helyezte el őrségét, majd tovább vonult. Batthyány Ferenc azonban még ebben az évben császári csapatokkal visszafoglalta a várat, és 1608-ban Ergelics Ferenc püspöknek adták át. 1620-ban a sümegi vár védői megnyitották a kapukat Bethlen Gábor erdélyi fejedelem hadai előtt. A 17. század közepén Széchenyi György püspöksége idején új építkezések zajlottak a várban és a városban. Megépült a palota és egy emelettel megemelték a Köves-bástyát. A várost öt saroktoronyos fallal vették körül, melyeket díszes kapuk ékesítettek. Ekkor épült az ún. Tarisznyavár. A 16-17. században a „Tarisznyavár” általában önálló torony volt, egy előőrs, ahol nem volt konyha, és az őrök hetente hordták oda az ételt egy zsákban. A vesztes szentgotthárdi csata elől visszavonuló török sereg 1664-ben ostrom alá vette a várost, elfoglalta és felgyújtotta. Az ostrom során a vár is kigyulladt.
A kastély helyreállítása Sennyei István püspökhöz kötődik, aki a Sennyei-bástyát építette a kaputoronynál. A várost is gyorsan újjáépítették. Az 1660-as évek második felében ismét itt tartották a megyei közgyűléseket. II. Rákóczi Ferenc szabadságharc idején a vár helyőrsége átengedte a várat Balogh Ádámnak és Sándor Lászlónak, Vak Bottyán hadvezéreinek. Sümeg a dunántúli lázadó „kuruc” katonák fontos ellátóhelyévé vált. 1709-ben Heister tábornok császári csapatai foglalták vissza. A kastélyt 1713-ban felgyújtották, majd használhatatlanná tették. Ettől kezdve a tető nélküli falak pusztulásnak indultak. A vár első régészeti feltárása 1957-64 között zajlott.
