出生在河北省博野縣小張營村。其家族是博野縣有名的豪族，博野縣是清初學者顏習齋的故鄉(xiāng)，顏李學派的發(fā)源地，學風濃郁，張蔭梧受其影響，幼時熟讀經(jīng)史，均能背誦，成年后仍未能忘懷，他崇尚顏李的“四存學說”，即奉其為學問，又是其立身處世的指南，又是后來其辦四存學校的基礎(chǔ)。該地尚武之風甚強，村民都會拳腳把式，張蔭梧亦精拳仗技擊之術(shù)，且一生堅持不輟。

1913年清河陸軍中學畢業(yè)后，進入 保定陸軍軍官學校第5期步科學習，他自奉甚簡，煙酒不沾，將學校所發(fā)之津貼于市內(nèi)租一房屋，假日期間于相投之同學聚會，或下棋，或清唱，或高談闊論，同期同學相善者以山西人為多，如傅作義，王靖國，李服膺、楚溪春、袁慶曾等，后來都成為晉綏軍大將。1918年畢業(yè)后加入晉軍，相繼擔任參謀，學兵團連長，晉軍上下普遍比較封閉保守，將領(lǐng)多為行伍出身，張蔭梧等軍校生的加入，相當于新鮮血液，而他也頗為自負，做事一意孤行，在任學兵連連長時，和營長不合，竟于操場當眾頂撞開來，隨后即卷鋪蓋而走，任太原國民師范軍事教官時，又因得文武兼?zhèn)洌�加之自律較嚴格見知于校長趙戴文，趙稱之為小關(guān)公，極力向閻錫山推薦，因此一路高升，很快超過其他同學，到1924年已經(jīng)是晉軍第5旅10團團長，鎮(zhèn)守大同。他認為軍人應(yīng)以軍隊為家，從不帶家眷，每日凌晨即起與士兵同起出操，身穿布衣布鞋，與士兵同甘共苦，每日堅持體格鍛煉，必打八段錦和形意拳，還要寫大字一千，且“從無間斷”，即使以后升為高級將領(lǐng)，也在軍官食堂就餐，從不開小灶。

1926年吳佩孚和張作霖聯(lián)合，發(fā)動對付馮玉祥的討赤戰(zhàn)役，馮玉祥自動下野出國，所部為奪取一個穩(wěn)定后方，以宋哲元為司令，向山西開戰(zhàn)。國民軍攻勢猛烈，戰(zhàn)斗力甚強，晉綏軍雖頑強抵抗，最后仍失利潰敗，旅長豐玉璽被俘，張蔭梧身負重傷，但他仍率部奮戰(zhàn)，將殘部撤回大同，爾后又撤回太原，這一役令張蔭梧大受閻錫山青睞，隨后，他應(yīng)母招，回故鄉(xiāng)養(yǎng)傷。冬天返回山西，任山西軍官教導(dǎo)團團長他勛訓練軍官，要求嚴格按實戰(zhàn)出發(fā)，并灌輸顏李學說，每天有升降旗儀式，以培養(yǎng)國家民族意識，閻錫山對他的工作深表滿意，1927年3月晉軍擴編，他任第7軍副軍長兼14師師長，仍駐守大同。

是年 6月，閻錫山相應(yīng)北伐，改晉軍為北方國民軍，張作霖大為不滿，奉軍派檢閱使于珍到豐鎮(zhèn)、平地泉視察部隊，部署軍事行動，閻錫山命張蔭梧在大同將于珍及所乘火車扣下，并押往太原，于是晉奉公開破裂，此事成為兩軍開戰(zhàn)之導(dǎo)火索。閻錫山通電討奉，分兵三路向奉軍發(fā)起進攻，張蔭梧任北方革命軍左路軍前敵總指揮兼第7軍軍長，率部從平綏線出擊，在宣化以西懷安擊退奉軍高維岳部，隨后在泥子河與奉軍激戰(zhàn)6晝夜，傷亡慘重，乃奉命撤至左翼陣地雁門關(guān)一帶，構(gòu)筑工事，憑險據(jù)守，閻錫山就在此地部署口袋陣地，以商震為總指揮，張蔭梧為副總指揮，奉軍兵力眾多，武器精良，攻勢猛烈，張蔭梧部以山西自制的手榴彈和滾雷等武器奮戰(zhàn)，終于反敗為勝，擊退奉軍。是役傅作義在涿州堅守三個月，牽制了進過左翼陣地的大部分奉軍，后因彈盡糧絕才投降，張蔭梧不知是不是嫉妒傅作義的名聲，在此后一直說只有斷頭將軍，沒有投降將軍，公開貶低傅，致使二人長期不合。

1928年1月，晉軍正式改編為國民革命軍第3集團軍，張任第三集團軍第7軍軍長，3月任國民政府軍事委員會委員，5月，奉命沿京綏線兩側(cè)進攻，張蔭梧以左路軍前敵總指揮兼五、七聯(lián)合軍軍長率部出平型關(guān)攻擊前進，進占淶源、紫荊關(guān)一線，當時右路軍徐永昌所部在方順橋地方和奉軍主力張學良部苦戰(zhàn)，馮玉祥按兵不救，張蔭梧從紫荊關(guān)出擊，在滿城、康城地區(qū)激戰(zhàn)兩晝夜，迫使奉軍放棄保定撤退。張蔭梧乃兼程前進，6月8日趕到北平，在北京維持會王士珍等人的接應(yīng)下，逼的先到的馮系大將韓復(fù)榘退出北京。

1929年6月12日，張蔭梧出任警備司令，21日，北京改稱北平，與天津并為特別市，市長為馮玉祥系的何其鞏，張蔭梧以為按他的功勞，北平市長非他莫屬，這時又見傅作義為天津警備司令，與他并列，極為惱火和不滿，又無計可施，只好向部下大發(fā)其火，直到第二年6月直到編遣會議時馮玉祥和蔣介石鬧翻，何其鞏自動離職，他才出任北京市市長兼公安局長。這時，張的老脾氣又來了。嚴以律己的他自然看不慣官場的官僚氣息，于是乃精簡機構(gòu)，更改“師爺、老爺”等舊稱謂。作為一市之長，他不做汽車，每天騎自行車上班。公安局原本配有兩頓公餐，張蔭梧也一并把它取消了。與此同時，張蔭梧還緝私緝毒，先后查抄了日本人在使館區(qū)設(shè)置的毒品加工廠，破獲了東陵大盜案，嚴懲高利貸等。當然，對于中共的活動，也是堅決打壓的。作為北平市長，官場應(yīng)酬之事當然不會少，張蔭梧則一概拒絕。在北平市長任內(nèi)，他沒有舉行過一次私人宴會。除了閻錫山、蔣介石來京，其他人來也概不迎接。 張蔭梧對外國人態(tài)度冷淡，尤其對日本人，更無好感。由于他概不與日本人來往，以至于一位日本代辦發(fā)牢騷：“來北平一年，連市長是什么樣子都不知道�？梢哉f，張蔭梧的一系列改革，使得京城面貌大為改觀。然而他也不得不得罪了一批人，此后政治軍事生涯失意，于此不無關(guān)系。

中原大戰(zhàn)時，晉綏軍前敵總指揮傅作義指揮6個軍沿津浦路南下，攻占濟南，形式一片大好，妒火中燒的張蔭梧給閻來了一份密電，說：“張學良和張群、方本仁等在北戴河開會時，傅作義參加了這個秘密會議，請注意�！遍惲⒓磁蓮埵a梧率兵前往濟南，任第3方面軍第2、4路聯(lián)軍總指揮，意在對傅監(jiān)視。傅作義當然會疑心這是閻錫山對他不信任，不免泄氣，直接影響了津浦線戰(zhàn)局。張、傅二人無法協(xié)調(diào)作戰(zhàn)，只好兵分兩路，一路由張蔭梧率領(lǐng)第二路軍向濟南以東前進，攻打韓復(fù)榘；另一路由傅作義率領(lǐng)第四路軍向南進軍，攻打徐州。內(nèi)爭雖告解決，卻嚴重貽誤戰(zhàn)機。 這一遲滯及分散兵力，導(dǎo)致了津浦線上的反蔣聯(lián)軍的最先失利。戰(zhàn)后晉綏軍檢討戰(zhàn)役失敗的原因，都認為張蔭梧這一舉動是導(dǎo)致失敗的根源。

張蔭梧追擊韓復(fù)榘到臨淄河西岸，將王靖國軍部署在右翼山區(qū)，馮鵬翥在鐵路中央，李服膺在左翼開闊地帶，準備迂回，第一次迂回失敗，雙方隔河對峙了20多天，張蔭梧再次迂回成功，突入韓軍后方昌樂，結(jié)果正面的韓軍大亂，退往高密，在高密對戰(zhàn)20多天，因陰雨連綿，師老兵疲，雙方打成僵持。這時蔣介石抓住戰(zhàn)機，將主力轉(zhuǎn)移到津浦線，對閻軍發(fā)動總攻，結(jié)果晉綏軍分兵力弱，張蔭梧部被蔡廷鍇的十九路軍打敗，傅作義被劉峙部打敗，全線失利。8月12日，閻錫山親抵濟南，召集各方將領(lǐng)死守，但敗事已經(jīng)不可避免，8月15日濟南失守，閻錫山將山東境內(nèi)的軍隊交給張蔭梧，讓他把部隊撤退到石家莊。9月15日，張學良出兵入關(guān)，閻錫山，馮玉祥聯(lián)合反蔣失敗已成定局。

這次失敗對自視甚高的張蔭梧是個沉重的打擊，駐軍石家莊時，他就流露出解甲歸田辦學校的情緒，閻錫山下野后，將山西的局面交給徐永昌負責，張蔭梧和李服膺公開表示不滿，提出應(yīng)由趙戴文和南京接觸，但閻錫山的下臺，即是他靠山的失去，昔日他狂傲自大，樹敵過多早就引起不滿，今天不僅他的提議沒人贊成，連整編部隊也沒有他的位置，他以無法在山西立足。

深感失落的張蔭梧遂于 1932年初帶200多名親信脫離晉軍回鄉(xiāng)，打著抗日的旗號在博野創(chuàng)辦了一所半軍事性的中學，招收熱血青年進行軍事訓練。一年后，因熱河抗戰(zhàn)，河北成立了許多義勇軍，張蔭梧隨即成立了所謂的保衛(wèi)團，控制了博野、蠡縣、安國、安平等六縣實行“自治”，在博野縣北楊村開辦軍事化的四存中學，又把河北鄉(xiāng)村實驗學校，由天津遷來，以此兩校為基地組織武裝，二三年后勢力范圍擴大到武強、定縣、深澤等13個縣。1935年，日軍入侵山海關(guān)，在日本策動下，殷汝耕成立了偽冀東防共自治政府，全國爆發(fā)了一二九運動，張蔭梧多次到平津活動，發(fā)表慷慨激昂的講話表示支持學生愛國運動。張讓留日學生、哲學家、共產(chǎn)黨員溫建功給其當秘書，溫在張的干部短訓班里公開講《八一宣言》，楊秀峰同志以北平名教授名義到四存做過報告。公開提倡抗日，反對蔣介石“攘外必先安內(nèi)”的反動政策。張蔭梧的積極態(tài)勢引起了閻錫山的重視，閻錫山以守土抗戰(zhàn)的名義委任張蔭梧為陸軍中將，邀請他去太原籌辦晉軍軍官教導(dǎo)團。張蔭梧遂從自己的中學學生中選拔了近百人跟隨自己去太原學習。

七七事變后，張蔭梧被第一戰(zhàn)區(qū)司令長官程潛看中，程潛任命張蔭梧為保定行營河北民訓處處長兼第一戰(zhàn)區(qū)司法監(jiān)。張蔭梧即將自己在太原訓練的200多學員帶至保定，召集舊部成立了河北民訓處干部養(yǎng)成所。平津保一帶的流亡學生紛紛慕名投奔，人數(shù)不久增加到千人。這些學生被編為4個大隊。明末高陽縣有個民族英雄孫承宗，在河北省成立“民軍”，堅決抵抗入侵的滿清軍隊，最后全家被屠殺。張蔭梧為紀念孫承宗，親自為這支隊伍取名叫“河北民軍”。-

張蔭梧的河北民軍還沒有來及正式成立，日軍已經(jīng)南下，9月保定危急，國軍數(shù)十萬紛紛南撤。張蔭梧也帶領(lǐng)干部養(yǎng)成所全體人馬和自己的13縣政府、警察局、保安隊等2000多人南撤到河北磁縣。在磁縣，張蔭梧將隨其南撤的冀中各縣保安隊改編為一個團，團長張超。原干部養(yǎng)成所4個大隊不變，同時以河北民訓處名義，收容潰散的國軍散兵和各地鄉(xiāng)勇。一周后宣布正式成立“河北民軍”。

不久日軍進抵磁縣，張蔭梧即帶領(lǐng)人馬沿太行山進入河南林縣。在林縣西關(guān)，正式成立河北民軍第一團，下轄3個營，每營200-300人，團長徐靖遠。經(jīng)閻錫山同意，河北民軍第一團負責駐守林縣，張蔭梧本人率河北民訓處和其他部隊繼續(xù)西去，進駐山西陵川。

張蔭梧部進駐陵川后，張派遣得力助手潛入邢臺、邯鄲聯(lián)絡(luò)活動在那里的小股武裝，并到鄭州、武漢、西安等地招收流亡學生和愛國青年，并聘請在山西、河北一帶的八路軍代表做教員（其中有朱瑞），講授游擊戰(zhàn)爭和抗日救國道理。到1937年10月，人馬迅速增加，很快發(fā)展到萬人，番號增加到五個團（河北民軍第一 ——第五團）。1938年初，根據(jù)程潛的命令，張蔭梧正式擴編民軍，確定了編制，對原有隊伍進行了整頓和擴編，成立了八個民軍團：與此同時，張蔭梧根據(jù)第一戰(zhàn)區(qū)命令：撤消河北民訓處，更名為河北民軍總指揮部，張蔭梧為總指揮，王長江、喬明禮為副總指揮，張存實為參謀長，下設(shè)九處一室一所：民軍下轄4個民軍區(qū)：　第一民軍區(qū) 司令王長江，活動于河南林縣、湯陰、淇縣。第二民軍區(qū) 司令喬明禮 活動于藁縣、晉縣。第三民軍區(qū) 司令伍修憲�；顒佑诤幽锨寤�、修武。冀西民軍 司令楊秀峰，活動于邢臺、內(nèi)丘、臨城、贊皇 。

鹿鐘麟擔任河北省主席后，張蔭梧認為鹿鐘麟沒有留在河北省堅持抗戰(zhàn)，怎么會輪到他當省主席呢！因此就一氣之下跑到武漢要求見蔣介石。先后三次求見，蔣三次拒見。于是他在盛怒之余大罵：“中國不亡，非天理也！中國若亡，非地理也！張蔭梧正要離開武漢，忽然受到陳誠接見，張蔭梧和陳誠在保定軍官學校是同學。陳誠介紹他參加組織和舉行宣誓典禮的經(jīng)過，并因此受蔣介石賜見十分鐘。隨后被委任為河北省三青團總千事長兼任民政廳長。張蔭梧經(jīng)陳誠介紹參加特務(wù)組織是他走向頑固死硬派的一個轉(zhuǎn)折點，這在他的日記中反映得琳漓盡至。在他參加國民黨特務(wù)組織之前，在日記中不斷稱贊八路軍紀律嚴明有“顏李之風”（即是有清代樸學大師顏習齋、李恕谷之風，這是“四存”學派對人的最高贊賞之詞）。贊美共產(chǎn)黨的抗日民族統(tǒng)一戰(zhàn)線政策“得人心”，“順民意”，“有號召力”。在他參加國民黨特務(wù)組織并受蔣介石賜見后，在同本日記中卻說：“共產(chǎn)黨不合國情”，他下山回到河北平原計劃如何反共滅共，還說共產(chǎn)黨的地下組織是心腹大患，“要加以漢奸罪名殺之！”前后判若兩人。張蔭梧以正統(tǒng)自居，否認民選的晉察冀行區(qū)政府及冀中行署，而直接向冀中各村莊派糧款。并且揚言重新“收復(fù)博野等六縣失地�！彼�唆使駐防博野縣境的張仲瀚部民軍，脫離冀中軍區(qū)；組織“中立會”，反對中共“十大救國政策”，并于一九三八年十二月趁日寇進攻冀中之機，發(fā)動了“博野十二月政變”。殺害八路軍指戰(zhàn)員400多人。博野民軍是中共幫助建立的，張仲漢和一些主要領(lǐng)導(dǎo)人，差不多都是共產(chǎn)黨員。張蔭梧雖百般策動，但由于有共產(chǎn)黨員的工作和民軍官兵的愛國熱忱，所以民軍大部起義投入抗日行列。張蔭梧發(fā)動博野事變失敗后，又策動冀中第二支隊柴恩波部反共。張蔭梧估計柴恩波的隊伍從新鎮(zhèn)一帶拉不到冀南去，就給柴發(fā)了電報，叫他先投降日本，并美其名日：“曲線救國”。這個可恥的名詞，就是張蔭梧在此發(fā)明的。

因此，我們?nèi)绻�不解決張蔭梧，那么冀中的抗日局面就會被破壞，根據(jù)地亦不能勝利發(fā)展。1939年夏，八路軍120師、北上挺進支隊和冀中軍區(qū)部隊在賀龍指揮下，在深縣南部張騫寺村對這部分民軍發(fā)動了分割包圍并全殲之。張蔭梧在孫殿英的部隊掩護下突出重圍渡過黃河，自此河北民軍全部土崩瓦解。 張蔭梧自稱有部隊十萬人，估計也就十幾個團，絕大部分被我們打垮了，這是冀中軍民運用黨的統(tǒng)一戰(zhàn)線政策，與國民黨死頑固派張蔭梧進行斗爭的重大勝利。

張蔭梧到重慶 向蔣介石告中共破壞統(tǒng)一戰(zhàn)線。蔣介石國民黨就以戰(zhàn)區(qū)的名義派了個姓范的來調(diào)查。這在談到張蔭梧的時候，中共拿出張蔭梧給張仲漢發(fā)動博野事變的電報給他看，說張蔭梧趁日本進攻之時發(fā)動博野事變，這不等于給日本作內(nèi)線嗎？他為張蔭梧辯護說，這是張蔭梧估計冀中呂正操部不能支持，趁機來收復(fù)失地的。我又拿出張蔭梧指令柴恩波投降日本“曲線救國”的密電叫他看。他無言以對，就狡辯地說，這個電報嘛也許是真的，我不能說是假的�？晌衣犝f，他們的電臺、機要人員、密電本、機要秘書都被你們弄去了，造個假的不是很容易嗎？你再說別的，于是中共就用繳獲的張蔭梧的日記來證明。告訴他張蔭梧在日記中說了些什么什么壞話，他要求看看日記，中共把日記拍下片來才拿給他看。我說你瞧瞧這字不是張蔭梧的筆跡嗎？電報可以做假，日記上的字誰能替他寫呢？姓范的一看悶了。忙說張蔭梧竟做出這樣的事來，那太可惜了！

8月初，周恩來復(fù)電陳誠，痛陳事實真相，“查冀中、冀南迭經(jīng)敵之掃蕩，均恃十八集團軍之賀、劉兩師及呂正操部艱苦支撐，保全現(xiàn)狀……不僅華北軍民有口皆碑，公認戰(zhàn)績，即在敵方廣播，亦只認與八路軍激戰(zhàn)……深、冀兩縣所發(fā)生之武裝沖突，都是由于張部挑釁所引起……”

1940年秋，第一戰(zhàn)區(qū)司令長官程潛因河北民軍與八路軍產(chǎn)生矛盾，將張撤職。但陳誠有意培植張成為一支反共力量，讓人捎信給他，安慰他說，第一戰(zhàn)區(qū)司令長官對他的處分，事前蔣并不知道，要他忍耐，以后還會重用他的。1941年，蔣介石又任命張為國民黨中央軍校第九分校主任，但由于軍政部和軍訓部的干涉，第九分校籌備了很久，也沒有建成。 1943年任冀察戰(zhàn)區(qū)總參議兼黨政委員會副主任委員，抗戰(zhàn)勝利后任平漢（平漢）路北段護路司令部司令，1947年12月任華北剿匪總部上將參議，這也是個掛名的差事，沒有實際的兵權(quán)。但是，他不甘寂寞，千方百計地擴充自己的實力。他向傅將軍申請了一些經(jīng)費，成立了一個所謂的“華北民眾自救會”。其執(zhí)行委員會由二十多人組成，都是些封建遺老，落泊軍閥、政客和青洪幫的上層人物。自救會下設(shè)若干組織，其中一個組織葉“華北敵后游擊策動委員會”，下設(shè)四個區(qū)隊，每個區(qū)隊又下設(shè)三個總隊，總隊下有大隊小隊。這個委員會主要以網(wǎng)羅國民黨軍隊的散兵游勇和地主武裝為工作目標，至北平解放時，已聚集了9萬余烏合之眾。1948年底，北平被圍困， 在我人民解放軍圍困北平之時，張蔭梧曾說，傅作義沒有很大的毅力和魄力，應(yīng)付不了時局，他覺得，應(yīng)該由他來接替傅作義，與共產(chǎn)黨頑抗到底。張又和美特分子張某秘密勾結(jié)，炮制了1000多張《致杜魯門呼吁書》，要求美國以“實際行動”援助他們。張還向傅作義要了1000多套軍服，申請了一部分經(jīng)費，把北平四存中學的學生組織起來，搞了一個冬令營，實際上是一次軍事演習。共網(wǎng)羅了700余人，組成了一個總隊，他曾揚言：“必要時，可以讓青年學生參加守城戰(zhàn)斗！”他公開對學生講：“不愿受共產(chǎn)黨宰割的就參加我的工作。”他還秘密策劃想把隊伍拉出去，上山打游擊，妄圖長期與人民解放軍進行周旋。他把“策動委員會”也改編成了適應(yīng)戰(zhàn)斗需要的總指揮部，自任總指揮，葛潤琴為副總指揮（葛原是保定四存中學的副校長），李云清為參謀長，崔建勛為秘書長，劉貴權(quán)任隨從參謀。各縱隊也都任命了司令、副司令、參謀長。

1949年1月22日，張蔭梧聽到傅作義將軍已接受了中共提出的和平解放北平的條件，頓時慌了手腳，急忙通知各個“委員”，稱：“因時局將變，策動委員會立即停止活動。”當天晚上，佟壽山將“策動委員會”的一切文件全部焚燒。1月25日佟又以“民眾自救會”的名義在報上發(fā)表聲明：停止活動，立即解散。1949年1月北平和平解放后，因拒絕上繳槍支的命令，2月15日被葉劍英為主任的北平軍管會以串聯(lián)舊部準備組織反動武裝逮捕，張蔭梧入獄后不久，即發(fā)現(xiàn)其患有胃癌，后保外就醫(yī)，于當年5月27日在家中病逝，終年58歲。