A kastély a nemesi család tatai rezidenciájaként szolgált, és Fellner Jakab impozáns tervei alapján készült a német és osztrák barokk stílusjegyeivel, melyek az adott korban Bécsben is nagy sikert arattak. A tervek végül nem valósultak meg hiánytalanul, amit részben Esterházy Miklós halála, részben anyagi nehézségek indokoltak. A két sarok toronnyal szegélyezett kastély az Öreg-tó partján elterülő Esterházy sétányra néz. A kastélyt több udvarrész, nyugat felől az ún. „kiskastély” valamint további melléképületek veszik körül, köztük a kocsiszín épülete, amely ugyancsak Fellner építészeti stílusjegyeit viseli magán. A kastély egy hatalmas romantikus kerttel is büszkélkedett, amely Carl Ritter neves tájépítész tervei alapján született. A kertben több építészeti remek és szobor volt található.