十六年服闋后，任兵部右侍郎，轉(zhuǎn)左侍郎，簡放江寧提督學(xué)政。十九年，調(diào)吏部左侍郎，旋擢都察院左都御史。二十年，補授兵部尚書，上查禁鴉片條陳。二十一年，調(diào)戶部尚書，奉旨在軍機大臣上行走，歷十年。二十九年，命充上書房總師傅，同年七月授協(xié)辦大學(xué)士。三十年六月，授體仁閣大學(xué)士。咸豐元年起， 兩任首席軍機大臣。二年，賞加太子太保銜。四年，反對肅順重用湘軍，以病致仕。同治元年，授命復(fù)出，以大學(xué)士銜補授禮部尚書，在弘德殿授皇帝讀。五年，病卒北京，謚文端。 “四朝文臣”、“三代帝師” 橫亙嘉慶、道光、咸豐和同治四代，輔政為官達46年之久。

祁氏為學(xué)主張訓(xùn)詁,明義理,調(diào)和漢學(xué)宋學(xué)之爭。他與程恩澤都是近代倡導(dǎo)宋詩的代表詩人，為詩主張不論窮通顯晦，都要溫柔敦厚，要講究"學(xué)識"和"性情"。所作學(xué)杜甫、韓愈、蘇軾，具見功力。他較有現(xiàn)實內(nèi)容的詩如敘事的《紀事》，反映人民疾苦的《感河南直隸二案時久不雨》、《肩輿道覆夷于右臂作此自遣》，贊頌為民興利的官吏的《藍公教織歌》等，為數(shù)不多。他的詩大多是詠物、寫景、感恩、扈從、官場應(yīng)酬之作,但能顯出學(xué)問、性情。陳衍《石遺室詩話》以為他是"道、咸間鉅公工詩者,素講樸學(xué),故根柢深厚，非徒事吟詠者所能驟及"。常與唱和的"勁敵"是程恩澤。陳衍很欣賞其《題□□亭集》、《自題□□亭圖》詩,以為"證據(jù)精確，比例切當，所謂學(xué)人之詩也，而詩中帶著寫景言情,則又詩人之詩矣"。又欣賞其"寫景之工者",如《望廬山》、《次韻樹齋夏夜步月越王山麓》等篇。所以他選《近代詩鈔》，以祁詩冠首,入選者達119首之多，對后來"同光體"詩人有較多影響。

著作還有《馬首農(nóng)言》、《入山記》、《勤學(xué)齋筆記》、《京口山川考》等，其傳世的書法墨寶及碑刻亦甚多。

著《□□亭集》32卷、《后集》12卷，有咸豐刻本。