七年(1171年)三月，除簽書樞密院事。時(shí)起復(fù)劉珙同知樞密院，珙恥與之同命，力辭不拜，命既下，朝論嘩然不平，莫敢頌言于朝者。惟左司員外郎張栻在經(jīng)筵力言之，中書舍人范成大不草詞。尋除說安遠(yuǎn)軍節(jié)度使，奉祠歸第。不數(shù)月，出栻知袁州。說既奉祠，語人曰：“張左司平時(shí)不相樂，固也。范致能亦胡為見攻？”指所坐亭材植曰：“是皆致能所惠也�！�

八年(1172年)二月，復(fù)自安遠(yuǎn)軍節(jié)度使提舉萬壽觀，簽書樞密院事。侍御史李衡、右正言王希呂交章論之，起居郎莫濟(jì)不書錄黃，直院周必大不草答詔，于是命權(quán)給事中姚憲書讀行下，命翰林學(xué)士王?嚴(yán)草答詔，未幾，?嚴(yán)升學(xué)士承旨，憲贈(zèng)出身，為諫議大夫。詔希呂合黨邀名，持論反覆，責(zé)遠(yuǎn)小監(jiān)當(dāng)。衡素與說厚，所言亦婉，止罷言職，遷左史，而濟(jì)、必大皆與在外宮觀，日下出國門。國子司業(yè)劉焞移書責(zé)宰相，言說不當(dāng)用，即為言者所論，出為江西轉(zhuǎn)運(yùn)判官。于是說勢(shì)赫然，無敢攖之者。九年(1173年)春，說露章薦濟(jì)、必大，于是二人皆予郡，必大卒不出。

淳熙元年(1174年)，帝廉知說欺罔數(shù)事，命侍御史范仲芑究之，遂罷為太尉，提舉玉隆宮。諫官湯邦彥又劾其奸贓，乃降為明州觀察使、責(zé)居撫州。三年(1176年)，許自便。七年(1180年)，卒于湖州。帝猶念之，詔復(fù)承宣使，給事中陳峴繳之，乃止。其子薦，文州刺史；嶷，明州觀察使。說敗，薦亦貶郴州。

先是，南丹州莫延葚表乞就宜州市馬，比橫山省三十程，說在樞筦以聞，樞屬有論其不便，說不聽。說既貶，遂罷其議。說又嘗建議欲郎官、卿監(jiān)通差武臣，中書舍人留正以為不可，遂止。與右相梁克家議使事不合，克家罷去而說留，其竊政權(quán)、傾大臣類如此。