A pápai Esterházy-kastély a város középpontjában helyezkedik el, és jelenleg is a város idegenforgalmának motorja. A törökök kiűzését követően funkcióját vesztett várat a birtokos Esterházy Ferenc, Mária Terézia tárnokmestere az 1740-es évektől kezdődően építtette át barokk kastéllyá. A tervezéssel Franz Anton Pilgram neves osztrák építészt bízta meg, ekkor készült az emeleti lakószobák sorába illesztett kastélykápolna is, amelynek falait Joseph Ignaz Mildorfer barokk festőművész freskói díszítik, és amelynek felújításáért a város 1990-ben Europa Nostra díjat kapott.
A több évtizeden át zajló építési munkálatokban Fellner Jakab, majd annak halálát követően Grossmann József is részt vett. Az épület középső részébe a reprezentációs helyiségek, míg az oldalszárnyakba a vendéglakosztályok és lakószobák kerültek. A kastély főúri rezidenciája az egyik legpompásabb barokk enteriőrrel büszkélkedhetett.
A második világháborút követően az épületet orosz laktanyának használták, a bútorzat szinte teljes egésze megsemmisült. Az 1960-as években a kastélyba először a városi könyvtár, majd a zeneiskola, a művelődési ház és a helytörténeti múzeum költözött, míg az ezredfordulót követően megkezdődhettek a rekonstrukciós munkálatok. Felújítását követően, napjainkban a kastély ismét fogad vendégeket, falai között a barokk időket megidéző főúri enteriőr mellett évente megújuló időszakos kiállítások kapnak helyet.