十一年，入直上書房，遷禮部侍郎，歷吏部、戶部侍郎，兼副都統(tǒng)、總管內(nèi)務府大臣、翰林院掌院學士。迭典順天、江南鄉(xiāng)試，兼直南書房。桂芳家素貧，有門生餽納，曰：“執(zhí)贄禮甚古。某忝佐司農(nóng)，俸入粗給，無藉乎此。”封還之。大學士祿康輿夫聚博，命偕侍郎英和按治，無所徇。上嘉其不避嫌怨。

　　十八年，教匪林清逆黨闌入禁城，桂芳方直內(nèi)廷，偕諸王大臣率兵殲捕，敘勞，加二級。上遇變修省，訓誡臣工，頒御制文七篇，示內(nèi)廷諸臣，命各抒所見，書以進御。桂芳書罪己詔后曰：“皇上臨御以來，承列圣深仁厚澤，日以愛民為政，四海之內(nèi)，莫不聞睹。今茲事變，豈不怪異？而臣竊以為此未足為圣德之累。昔孔子論仁至於濟眾，論敬至於安百姓，皆曰：u2018堯、舜其猶病諸。u2019豈真以堯、舜之圣為未至哉？夫天下之大，萬民之眾，而決其無一夫之梗者，蓋自古其難之。然而揆之人事，則實有未盡者。夫林清先以習教被系，既釋歸，轉(zhuǎn)益煽亂。數(shù)年之間，往來糾結於曹、衛(wèi)、齊、魯之間，其黨至數(shù)千人。閹寺職官，竟有與其謀者，而未事之先，曾無一人抉發(fā)，是吏無政也。藏利刃，懷白幟，度越門關，飲於都市，無诇而知者，是邏者、門者無禁也。禁兵千計，賊不及百，闔門而擊之，俄頃可盡，乃兩日一夜始悉擒戮，是軍無律也。夫吏惰卒驕，文武并弛，而法制禁令為虛器，則事之可憂，豈獨在賊？我皇上觀微知著，洞悉天下之故，詔曰u2018方今大弊在因循怠玩u2019，至哉言乎！臣敬繹之，蓋因循怠玩，亦有所由。無才與識，則有因循而已；無志與氣，則有怠玩而已。是故得人而任之，則因循怠玩之習不患不除。儻非其人，微獨不能除其習而已；就令除之，不因循而且為煩苛，不怠玩而且為躁競，其無裨於治則均耳。是在皇上詢事考言，循名責實，器使之以奏其能，專任之以收其效，因小失而崇丕業(yè)，在陛下一旋轉(zhuǎn)間耳�！薄　∮终撝伦冎�源，由於民窮，民窮由於幣輕，幣輕則國與民交病。論刑用重典而不得其平，則不能格奸定亂。論民惑邪教，由士大夫好言因果利益有以導之。因事納規(guī)，所言多切中時弊。於是復條陳時事，或見之，謂其未必盡合上意。桂芳慨然曰：“此何時，尚以迎合為言耶？”及上，嘉納之，命暫在軍機處學習行走。未幾，授軍機大臣。