因庚子之亂中護(hù)駕有功，深得西太后的賞識，到光緒二十七年（1901年）年底吳廷斌已經(jīng)扶搖直上做了山西布政司，后署理山西巡撫。光緒三十三年又調(diào)任山東布政司，實授山東巡撫，并數(shù)次代表光緒帝和慈禧太后在泰山之巔舉行祭天儀式。至今泰山還留有吳廷斌的一處石刻手跡“東天一柱”。此外，吳廷斌還參與了山東大學(xué)的創(chuàng)辦。

大權(quán)在握之后，大約在1905年前后，吳廷斌在家鄉(xiāng)涇縣茂林建造起兩處豪華建筑群：亦政堂和退步居，其中的亦政堂在當(dāng)?shù)鼐捅环Q作“九十九間半”。原址至今仍存部分建筑。此后他又陸續(xù)在涇縣、南陵、蕪湖縣等地購買了大量的良田房產(chǎn)。

1909年吳廷斌72歲致仕后，并沒有回到故鄉(xiāng)涇縣，而是把家安在了蕪湖。由于和慈禧太后有著不同尋常的關(guān)系，因此吳廷斌才敢冒犯上之嫌在這里仿照故鄉(xiāng)的亦政堂建起了第二處“九十九間半”——現(xiàn)在的太平大路17號，躲在里面做起“逍遙王”。此外，他還在離太平大路不遠(yuǎn)的打銅巷內(nèi)模仿其在涇縣的退步居格局建造了另外一座豪宅。1914年，吳廷斌去世，其后人于1925年將“九十九間半”賣給了段君實，堂號變?yōu)椤岸沃t厚堂”。?