未久，補授湖廣道監(jiān)察御史，任職期間，直言切諫。如直督 曾國藩辦天津教案，清廷以為失當，將代以李鴻章，瑞祺疏陳重臣宜示保全，不可輕易更調。又請復簡前侍郎彭玉麟為長江水師稽察大臣，從重巡防而肅營制。還歷疏陳凱旋將弁應設法安置、申明傳教條例、裁撤睦路厘局、疏治河運以便交通、勞績褒獎宜按官階嚴示限制、緩修圓明園等等。皆切中弊政，為時人傳頌。

光緒九年（1883年），簡放福建督糧道。次年，法兵攻閩，閩疆大擾，督師張佩倫敗逃，督撫及船政大臣皆被嚴譴，瑞祺以捍衛(wèi)得民心，左宗棠特疏聞于朝。十三年，簡放浙江按察使，未到任擢河南布政使。十六年，遷山西巡撫。十七年，以疾卒子住所。