張伯行自幼即聰敏好學，受父親、祖父的影響，品德也很高。十三歲時就通讀了四書五經(jīng)。

康熙二十年（1681年），張伯行考中了舉人，

康熙二十四年（1685年），中殿試三甲八十名，賜進士出身。

康熙三十一年（1692年），補授內(nèi)閣中書，從此步入仕途。后來，張伯行遇父喪歸鄉(xiāng)，建立請見書院，并講解宣傳儒學。

儀封城北原有堤，康熙三十八年（1699年）六月因遭大而被沖垮，伯行招募民工用口袋裝土來堵塞。河道總督張鵬翮巡視黃河后，上疏推薦張伯行能夠治理河務�；噬厦�他以原來的官銜到河工任職，督修黃河南岸堤二百余里，以及馬家港、東壩、高家堰各工程。

康熙四十二年（1703年），張伯行被授為山東濟寧道。適逢災荒之年，便從家鄉(xiāng)運來錢和糧食，并縫制棉衣，用來解救百姓的饑寒。 康熙帝命令按各道救濟災民，張伯行便拿出倉谷二萬二千六百石有余賑濟所屬漢上、陽谷二縣。山東市政使責備他獨斷專行，準備上疏彈劾，伯行說：“皇上有旨救災，不能說是獨斷專行�；噬先绱酥匾暶耖g疾苦，應該以倉谷為重呢？還是以人命為重？”布政使只好停止彈劾事。

康熙四十五年（1707年），張伯行被任命為江蘇按察使，這是 巡撫的屬下。按照當時的官場舊例，新任的官員要給巡撫、總督等上司送禮，以示尊敬，也表示請求以后關照提拔，這大概需要白銀四千兩。但張伯行秉性耿直，從不巴結上司，對此腐敗風氣深惡痛絕，他說："我為官，誓不取民一錢，安能辦此！"拒絕送禮。不但如此，在任內(nèi)他還盡力革除當?shù)乇撞�，整頓吏治，因而得罪了總督和巡撫，常受到他們的排擠。

康熙四十六年（1708年）正月，康熙帝南巡到達江蘇，在蘇州諭令總督和巡撫舉薦賢能的官員。在舉薦的名單中康熙皇帝沒有看到已聞名朝野的張伯行，就對總督、巡撫申斥道："朕聽說張伯行居官清廉，是個難得的國家棟梁之才，你們卻不舉薦！"說完又轉向張伯行：“朕很了解你，他們不舉薦你，朕舉薦你。將來你要居官而善，做出些政績來，天下人就會知道朕是名君，善識英才；如果貪贓枉法，天下人便會笑朕不識善惡�！庇谑�，提拔張伯行為福建巡撫，賜予“廉惠宣猷”的匾額。

張伯行上疏請求免去臺灣、鳳山、諸羅三縣因災荒而欠交的賦稅。因為福建的米價很貴，張伯行請求動用國庫的錢五萬購買湖廣、江西、廣東的米平價出售。建鰲峰書院，置學舍，拿出自己的藏書，搜羅前代文人的文集刊印成《正誼堂叢書》，用來教學生。

福建百姓祭祀瘟神，張伯行命令毀掉這些瘟神的偶像，改祠堂為義學，祭祀 朱熹。民間多尼姑，有人賣貧苦人家的女子，以致削發(fā)為尼者成百上千，張伯行命令這些人家贖回自己的女子，為她們選 擇配偶。有家境貧窮無法贖回的，由官府出錢贖出。

康熙四十八年（1710年），張伯行調(diào)任江蘇巡撫，救濟淮安、揚州、徐州三府的災荒。適逢布政使宜思恭因布政司庫存虧空被總督噶禮彈劾罷免，康熙帝派尚書 張鵬翮查處。 陳鵬年以蘇州知府的身份代理布政使職務，建議布政司庫所虧空的三十四萬，以分別扣除官員的俸銀及使用差役的費用來抵補。張伯行行文噶禮要求聯(lián)名上疏，沒有被答應。張伯行便自己上疏，康熙帝得知后命張鵬翮一并調(diào)查。張伯行另外又上疏說明了 噶禮的不同意見�？滴醯蹖ν⒊颊f：“看了張伯行的這個上疏，知道他與噶禮不和。作為臣子，應該以國事為重。我辦理機務將近五十年，未曾讓一個人施展他的私欲。這個上疏應當放置不予理睬�！辈痪茫瑥埐�行以身體多病為由提出辭官，康熙帝沒有允許。張鵬翮請求責成張伯行的前任巡撫于準及直思恭賠償十六萬，其余用官員俸銀及使用差役的費用來抵補�？滴醯壅f：“江南虧空錢糧，并不是因為官吏侵吞。我南巡時，總督、巡撫隨意挪用公款而下級官吏不敢議論。如果責成新任官吏來補償，我實在于心不忍，”于是讓查明南巡時用款情況上報。張伯行又上疏，奏明各府州縣現(xiàn)無著落的錢糧十萬八千，康熙帝命令一律免于賠償。噶禮貪婪橫行，張伯行與他相反。

康熙五十年（1712年），江南鄉(xiāng)試的副考官趙晉暗中交接考生，接受賄賂。發(fā)榜以后，讀書人議論喧嘩，抬著財神進入學宮。張伯行上疏奏明這件事，正考官左必蕃也把實際情況上報。康熙帝命尚書張鵬翮、侍郎赫壽查處，張伯行與噶禮會審。后得到舉人吳泌、程光奎暗中賄賂的情況，供詞中牽連噶禮，張伯行請求解除噶禮的職務，交有關部門嚴肅審理。噶禮心中不安，也找出張伯行的所謂七條罪狀上奏�？滴醯勖�二人都解職。張鵬翮等不久奏報：趙晉與吳泌、程光奎行賄受賄事均屬實，應按刑律治罪；噶禮暗中受賄事屬誣告，張伯行應撤職。

康熙帝責備張鵬翮等為噶禮掩飾，又命尚書穆和倫、張廷樞重新審查，結果仍舊與前次張鵬翮等人的意見相同�？滴醯壅f：“伯行任官清正，這是天下所了解的。噶禮才干雖有余，但喜好無事生非，并沒有清正的名聲，這個意見是非顛倒�！庇谑�，命九卿、詹事、科道官再議。第二天，召九卿等說：“伯行居官清正廉潔，噶禮的操行我不能相信，如果沒有張伯行，那么江南必然受到他的盤剝，大概要達到一半地區(qū)。這次二人互相參奏的案子，起初派官去審理，被噶禮阻撓，以致不能得到其中的真實情況；再派官去審理，與前面的意見沒有區(qū)別。你們應能體會我保全清官的心意，要使正直的人沒有什么疑慮和恐懼，那么天下將會出現(xiàn)安定的局面�！庇谑菉Z去噶禮的官位，命張伯行 復職。

康熙五十二年（1714年），江蘇布政使一職缺員，張伯行上疏推薦福建布政使李發(fā)甲、臺灣道陳瑸、前任國子監(jiān)祭酒 余正健，而康熙帝已將湖北按察使牟欽元提拔就任。不久，張伯行彈劾牟欽元將通海盜的罪犯 張令濤隱藏官署中，請求逮捕治罪。張令濤的哥哥張元隆住在上海，造海艙，出入海洋，擁有大量資產(chǎn)，交接豪貴。

趕上刑部下檄文搜緝海盜鄭盡心余黨，崇明水師捕住一條漁船，此船的主人是福建人，卻假冒華亭籍，經(jīng)過查驗船照，知是元隆所代領。張伯行準備一追到底，當時令濤在噶禮府內(nèi)任職，元隆托病逃避逮捕，案子未結卻死于家中。噶禮先前彈劾伯行，曾抓住這件事作為七條罪狀之一。正巧上�？h百姓顧協(xié)一起訴令濤占據(jù)他的房屋，另外還有幾處水寨窩藏海賊，聲稱令濤現(xiàn)在居住在欽元官署中。康熙帝命總督 赫壽調(diào)查審理，赫壽庇護張令濤，以通賊事查無實據(jù)而上報。

康熙帝又命張鵬翮及副都御史阿錫鼐調(diào)查此案，張鵬翮等奏報張元隆、張令濤都是良民，請求奪去張伯行的官職�？滴醯勖鼜筒�，并讓張伯行自己陳述。張伯行上疏說：“元隆通賊，雖然上報已死，然而他財產(chǎn)豐厚，黨徒也多，人人可以冒名，處處可已領到執(zhí)照。令濤是顧協(xié)一首先告發(fā)的，如果顧協(xié)一舉報不實，照例應以誣陷治罪。由于欽元庇護，致使此案久懸未決。我作為地方長官，應該在事情剛剛發(fā)和時即加以防止，怎能不追究呢？”

張伯行解任之后，張鵬翮等仍以他誣陷良民，挾私報復，要求斬首。刑法部門討論同意這一建議，而康熙帝卻免了張伯行的罪，調(diào)他到京城來。不久，張伯行到南書房任職，兼代理倉場侍郎，并充當順天鄉(xiāng)試的正考官。后授為戶部侍郎，兼管錢法、倉場，又充當會試副考官。

雍正元年（1723年）， 雍正帝擢其為禮部尚書，并賜他“禮樂名臣”的匾額。

雍正二年（1724年），雍正帝命令他到闕里崇圣祠進行祭祀活動。

雍正三年（1725年），張伯行去世，終年七十五歲。張伯行留下遺疏，請求推崇儒學，獎勵直臣。雍正帝悲痛悼念他，贈太子太保，謚清恪。光緒初年，準許附祭于孔子廟。

張伯行剛成進士時，回家鄉(xiāng)南郊建造了一座精制的房屋，擺上了數(shù)千卷書以供縱情觀覽，看到《小學》、《近思錄》，以及程、朱的《語類》，說：“進入圣人的門庭在這里呀！”他曾全力找到宋代理學四大學派 周敦頤、 程顥、 程頤、 張載、朱熹各位大儒的書，一邊誦讀一邊抄錄，前后共七年。最初任官時曾說：“圣人們的學問，概括為一個u2018敬u2019字，所以學習沒有比掌握敬更重要的。”因此他自號為“敬庵”。又說：“君子懂得義，小人只知利。老子貪生，信佛的人怕死，烈士追求名聲。這都是屬于利�！�

在官時所招致的，都是學問醇正、志向操行清廉的人，而且開始不讓他們知道自己是做官的。平時對于意見不合的人，也仍與他們共事，開誠布公，同心協(xié)力，沒有一點怨恨。他說：“已得到皇上的保全，怎敢以私而廢公呢？”

康熙帝：①伯行居官清正，天下所知。②素性偏執(zhí)，且短于才，封疆之寄不能勝任。③伯行操守為天下第一。

郎廷極：才性短偏，多疑苛細。

《清史稿》：清世以名臣從祀孔子廟，斌、隴其、伯行三人而已，皆以外吏起家，蒙圣祖恩遇。隴其官止御史，而廉能清正，民愛之如父母，與斌、伯行如一，其不為時所容而為圣祖所愛護也亦如一。君明而臣良，漢、唐以后，蓋亦罕矣。斌不薄王守仁，隴其篤守程、朱，斥守仁甚峻，而伯行繼之。要其躬行實踐，施於政事，皆能無負其所學，雖趨鄉(xiāng)稍有廣隘，亦無所軒輊焉。

張伯行著作宏富，有《正誼堂集》十二卷、《道南源委》、《道統(tǒng)錄》、《伊洛淵源續(xù)錄》、《居濟一得》、《小學集解》、《續(xù)近思錄》、《學規(guī)類編》、《性理正宗》、《廣近思錄》、《濂洛關閩書》、《困學錄集粹》、《濂洛風雅》（均見四庫總目）等，并傳于世。

《清史稿· 列傳五十二》