A mesebeli kastély építése még 1735-ben kezdődött el. Előbb kialakították a belső udvart közrefogó első U-alakot, elkészült a díszterem és a királyi lakosztályok. Mária Terézia bizalmasa, gróf Grassalkovich I. Antal később mindkét szárnyat kibővítette: istálló és szénapadlás is helyet kapott, valamint az északi szárnyban egy ma is működő római katolikus templomot emeltek. A munkálatokat a gróf fia és unokája is folytatta, előbbi nevéhez fűződik az Európában ritkaságnak számító barokk kőszínház megvalósítása.
Az épület mai formáját a XIX. század elejére nyerte el, a királyi lakosztályok, a reprezentatív terek és a templom mellett lovarda, fürdő, virágház, valamint narancsház is létesült. Nem csoda hát, hogy az 1867-ben a magyar államtól koronázási ajándékba kapott patinás épület I. Ferenc József és Erzsébet királyné, Sisi egyik kedvenc rezidenciája volt. A környéket átjárta a romantika és a szentimentalizmus, a kastélyparkot lágyan ívelő útrendszer tagolta, amelyben ligetes facsoportok, virágkülönlegességektől hemzsegő virágágyások váltották egymást. Sisi éveken keresztül itt töltötte a nyári és őszi időszakokat, családi összejöveteleket és mulatságokat szervezett. A kastély kertészei a királyné érkezése előtt a lakosztálya előtti előkertbe árvácskákat és ibolyákat ültettek, mivel ezek voltak kedvenc virágai. Itt minden az ő kényelmét szolgálta: bármikor elvonulhatott ibolyaszínű lakosztályába vagy felolvasószobájába, ha egy kis magányra vágyott, de a kastély és környéke remek helyszínül szolgált a nagyobb eseményeknek is. Területén agárversenyeket, galamblövészetet, a vadászati területeken vadászatot és lovasversenyeket rendeztek, télen a kastély kertjében még egy korcsolyapálya is helyet kapott. Apropó, lovasversenyek! A lovaglószenvedélyéről híres Sisi földszinti szobái előtt épült egy kis faveranda, ahonnan folyosó vezetett a nagyméretű tükrökkel felszerelt lovardába.