北伐開始后，民國16年2月，轉(zhuǎn)入國民革命軍的張義純擔(dān)任了程潛江右軍的少將參謀處長。程潛所部攻克南京后，在南京舉行了一次勝利閱兵典禮，張義純榮幸地?fù)?dān)任了閱兵指揮官，其后隨軍繼續(xù)北伐。在山東郯城，張義純收到李宗仁邀約他的電報，便趕到蕪湖見面。這是因為張義純在10余年的南北征戰(zhàn)中，有了點名氣，得了“小張飛”的雅號。李宗仁、白崇禧誠懇邀約張義純共事。感于知遇，以后20多年，張義純基本上都在桂系服務(wù)。

后在蕪湖就任第19軍2師中將師長，不久，參加龍?zhí)稇?zhàn)役，又擔(dān)任新成立的十八軍副軍長。民國18年1月編遣會議后，十八軍和劉和鼎旅合并為第五十六甲種師，張義純?yōu)閹熼L。“蔣桂戰(zhàn)爭”中，桂系失敗，張義純在杭州居閑5年。1933年6月任軍事參議院少將參議，年底輾轉(zhuǎn)來到桂林，任第15軍參謀長和第7軍參謀長，1936年10月任中將，同年任第48軍參謀長，嗣后調(diào)任第二十五（獨立）師師長。其間兩廣爆發(fā)的“六一”抗日運動，對張義純影響很大。七七”和“八·一三”事變以后，國民政府迫于形勢，對日宣戰(zhàn)。蔣介石初擬集中兵力保衛(wèi)滬京（寧）地區(qū)，任命李宗仁為第五戰(zhàn)區(qū)司令長官，指揮山東、安徽、江蘇地區(qū)戰(zhàn)事。時為第四十八軍副軍長的張義純率所部在淞滬會戰(zhàn)中大場一帶與日軍血拼，傷亡慘重。上海棄守后，張義純部駐皖南，1938年2月任安徽省政府委員兼民政廳長并代理安徽省政府主席，在六安就職。這一階段，他的主要政務(wù)是配合軍事抗戰(zhàn)，如在六安北大營辦了鄉(xiāng)政人員訓(xùn)練班，收容淪陷區(qū)來的青年1000余人，組織士兵職員宣傳抗日、動員參軍等。不久又兼任安徽省軍管區(qū)副司令，7月任第48軍軍長，臺兒莊會戰(zhàn)后，張義純又參加了武漢會戰(zhàn)的外圍保衛(wèi)戰(zhàn)�；厥卮髣e山不久，其部打了一場堵截仗，迫使孤軍深入的侵略者不得不回撤。1938年秋天，新四軍軍長葉挺訪問立煌縣，張義純參與接待。1939年10月，第二十一集團軍總司令兼安徽省主席廖磊因腦溢血病故，張義純代理總司令。兩月后李品仙到立煌接任廖磊遺缺，張義純?nèi)胃笨偹玖�。其間張義純部在合肥城郊大蜀山伏擊日軍，全殲日軍警備司令三浦中佐以下官兵500余人，繳獲的戰(zhàn)利品遂送到立煌展覽，人心大快。此后直到1942年，日軍不再試圖進攻立煌。僅對立煌行頻繁空襲。國軍的戰(zhàn)線布置，因皖境新四軍逐漸強大時常侵害國府地方單位與部隊及日軍之久守不攻使李上將有輕敵之想。于是皖境駐軍，漸漸將兵力指向新四軍的2師、7師及鄂東方面的5師。第48軍也向皖東、潛太發(fā)展。

1942年12月18日，日軍中國派遣軍總司令畑俊六召集各軍司令官到南京開會，宣布因兵力不足，中止進攻四川的5號作戰(zhàn)。當(dāng)天會議結(jié)束之后，第11軍司令官冢田攻搭機返回武漢。日軍航線是由安慶經(jīng)懷寧，再循大別山脈飛往武漢。因是日大露彌漫，日機在懷寧上空減速尋找航標(biāo)，被太湖第138師小炮連發(fā)現(xiàn)擊落，墜毀于彌陀寺。日軍大為惱怒。年底，日軍中國派遣軍決心對立煌進行一次短促突擊，以打擊重慶政府的抗日意志。

1942年12月，金寨的路透社發(fā)布消息，稱日軍調(diào)遣兵力到東，有入侵大別山傾向。此時日軍擺出打通平漢路姿態(tài)，第21集團軍竟將第84軍調(diào)往平漢線。第7軍當(dāng)面合肥方面日軍也開始集結(jié)，第7軍軍長張淦將軍認(rèn)為日軍將由合肥發(fā)動主攻，所以按兵不動，監(jiān)視敵情。于是立煌當(dāng)面只有滕家堡的第39軍。12月下旬日軍突然在羅田、紅安集中兵力，有直搗立煌之勢。其時李品仙赴西安參觀。黨政軍務(wù)原應(yīng)由第7軍軍長張淦代理，但李主席為穩(wěn)定皖人情感，命皖籍的第21集團軍副總司令兼安徽軍管區(qū)副司令張義純中將代理。張義純雖為桂系元老，但久未指揮野戰(zhàn)軍，在部隊中較無威望，此舉使門戶之見甚深的桂軍大為不滿。張義純將軍審知日寇有可能向立煌突進，但第84軍已調(diào)離。除第39軍之外最近的第7軍六安駐軍離立煌有230華里。立煌兵力空虛，也沒有相當(dāng)?shù)膽?zhàn)線布署。張副總司令審視地形，將眼光擺在松子關(guān)。

山區(qū)地形復(fù)雜，第39軍主力在滕家堡，在后方無法點點布防。松子關(guān)掌握大別山區(qū)的南北通道，控制鄂東到金寨的通路。清季捻軍首領(lǐng)龔德柱戰(zhàn)死于此。張代總司令決定將立煌的所有兵力集中到松子關(guān)布防。但立煌已無兵可調(diào)，張代總司令于是集結(jié)第21集團軍警2團，警3團〔團長楊昌其〕，立煌縣自衛(wèi)大隊〔大隊長江亞東〕及保安第四團〔團長吳建平〕，以警2團、警3團駐市區(qū)，自衛(wèi)大隊及保四團即跑步接防松子關(guān)。12月28日，日軍以第3師團第68聯(lián)隊組成盧田支隊向金寨推進。30日第68聯(lián)隊抵達(dá)滕家堡，但突然轉(zhuǎn)向東進，由滕家堡東的僧塔寺突入甕門關(guān)。另一路由麻城出發(fā)的牽制部隊于1月1日抵達(dá)長嶺關(guān)。進攻甕門關(guān)的日軍第68聯(lián)隊為加強步兵聯(lián)隊〔約4,000人〕，甕門關(guān)守軍安徽保安第九團農(nóng)學(xué)民部一個營奮起抵抗，激戰(zhàn)四小時后陣地全毀。保九團殘部撤退。日軍占領(lǐng)天堂寨甕門關(guān)之后，抄小道翻越四望嶺進攻立煌。1月1日夜，縣大隊跑步抵達(dá)離松子關(guān)15里的吳家店。由羅田天堂寨甕門關(guān)到立煌的道路是由前畈經(jīng)燕子河到流波，接上立流公路。四望山只有牛車小路可行，但日軍在漢奸指引下對地形了如指掌。日軍翻越四望山之后即進入泗洲河河谷。河谷西南盡頭為石景山，國軍在石景山有六個秘密彈藥庫，連當(dāng)?shù)厝硕疾幻靼孜恢谩５�日軍早已掌握情報，找到并炸毀了這批彈藥庫。炸毀彈藥庫之后日軍向龍門河推進，沿途均為極陡峻的山路。所以日軍由31日上午走到下午1時才到龍門石，其后續(xù)輜重直到當(dāng)晚才到。日軍到龍門石后即將當(dāng)?shù)厝嗣裢缆敬�盡，將龍門石的小店均燃燒照明。隨后翻越馬面山，西向攻往八河。1月1日夜，日軍進抵下八河。日軍指揮官在下八河停頓結(jié)集結(jié)部隊以進攻茅坪。1月1日下午，第171師第513團蕭湘揚團長率一個營趕赴茅坪。集團軍急令蕭團長到查兒嶺，長沖嶺布防。蕭團長命第八連連長周銘當(dāng)夜在柳樹溝警戒，營主力到本兒嶺布防。蕭團長抵達(dá)查兒嶺之后與總部通話，總部原判斷日軍會由流波公路進攻，但是夜8時，總部突然通知日軍已出龍門石，向八河推進。蕭團長大為驚訝，日軍若由八河方向過來，即會居高臨下。此時總部電話中斷。蕭團長自作主張將部隊撤到查兒嶺的制高點黃毛尖，次日又撤到花石的東大山。

茅坪是山間小圩，元旦夜當(dāng)?shù)財D滿了商販以及舒城師管區(qū)的1個壯訓(xùn)大隊。日軍于夜間逼近夜襲，壯丁大隊的押運官兵奮起抵抗，擊斃日軍數(shù)人，但寡不敵眾，全部犧牲。日軍將屋內(nèi)281名壯丁全部拉出用剌刀捅死。繼之殺害居民商販數(shù)百人�？傆嬅┢和罋㈩倦y軍民561人。戰(zhàn)后281名壯丁被集體埋葬在茅坪公路邊，大墳今日猶存。第513團第八連在烏鴉河柳樹溝布防任務(wù)未變。烏鴉河柳樹溝距茅坪僅五華里。日軍前鋒在1月2日上午6時抵達(dá)，先以一個小隊搜索前進。周銘連長已疏散柳樹溝居民，完成布防。日軍偵察小隊接近柳樹溝時連部六○炮照準(zhǔn)一炮，正中日軍縱列，擊斃日軍8人，馬兩匹，狼犬一只。日軍馬上集中火力壓制該連右側(cè)，并試圖向查兒嶺突進迂回該連。該連左翼已經(jīng)在公路轉(zhuǎn)彎處埋伏，待日軍逼近時突然猛烈掃射，日軍傷亡慘重潰走。日軍只好分兵，以一路由烏鴉河口向石路嶺繞路，意圖直沖陳沖的第21集團軍總部，并牽制查兒嶺。一部正面進攻柳樹溝。第8連堅守柳樹溝，到下午二時已打退日軍多次攻擊。日軍于是以一部輕裝攀登長沖嶺，越過蠟燭尖向查兒嶺迂回。此時第八連左翼排查覺日軍迂回，排長急令一班長通知連長撤退。此時周銘連長親自指揮重機槍對日軍射擊。班長向連長大聲喊話報告，周連長正色答道：“我的機槍不停，就有權(quán)不許敵人由此處通過，若是活著出去，怎么對得起這么許多戰(zhàn)死的弟兄？守一刻是一刻，我決心與陣地共存亡�！毖援叄�周連長命通訊員〔周氏外甥〕與副排長，機槍手離開機槍掩體，準(zhǔn)備親自操作機槍與日寇偕亡。傳話的班長正想再喊，蠟燭尖的日軍已居高臨下向機槍巢掃射，周連長操起機槍射出憤怒的火舌，與日軍同歸于燼。在第八連覆沒之后，援軍第173師第517團兩個營也趕到查兒嶺。2日下午前鋒排開始登嶺，被嶺上日軍掃射，全排覆沒。第517團主力退回南莊。在查兒嶺失守后，第68聯(lián)隊主力沿公路向古碑沖竄犯。此時，第39軍劉尚志軍長已發(fā)現(xiàn)日軍繞開該軍主陣地帶向后方穿插。劉軍長又急又氣，下令主力第54師孔繁瀛師長親率全師回援立煌。2日凌晨，第54師前鋒過松子關(guān)，與縣保安大隊遭遇�？讕熼L親詢縣大隊大隊長江亞東是否與日軍遭遇，江氏答以未與日軍遭遇�？讕熼L大愕，不知日軍竄往何方。天亮后偵察兵回報日軍兩路已到茅坪�？讕熼L在松子關(guān)停駐，偵察日軍動態(tài)。1月2日上午，向石路嶺竄犯的日軍抵達(dá)石路嶺。張義純?yōu)楸Ｐl(wèi)總部，命干訓(xùn)團教育長汪平組織阻擊。干訓(xùn)團訓(xùn)練文官，學(xué)員只受過基本教練，沒有戰(zhàn)斗能力。所以只留下幾個瞭望哨。但戰(zhàn)干團〔訓(xùn)練行伍軍官〕百余學(xué)員則自發(fā)占領(lǐng)陣地布置阻擊。上午11時，日軍見石路嶺無動靜，于是放松戒備登嶺。戰(zhàn)干團學(xué)員突然自路邊沖出以駁殼槍掃射日軍，日軍前鋒小隊連滾帶爬地滾下嶺去。日軍主力馬上炮轟石路嶺。戰(zhàn)干團只有教練用步槍數(shù)支，無法抵抗，于是在傷亡三十余員后撤退。日軍登嶺時已是下午四時。隨后日軍焚毀第21集團軍糧庫及立煌第二區(qū)糧食分庫。據(jù)當(dāng)?shù)厝嗣窕貞�，這批日軍行軍時日夜不停，夜間將路邊房舍村莊燒毀照明。部隊縱列前有一組著黑衣的漢奸，攜有極詳細(xì)地圖，繪制了村莊小道，連路邊有特征大樹，土地廟均詳細(xì)標(biāo)繪。日軍行進間均不開槍，只以剌刀捅殺接近群眾以節(jié)省時間。日軍隨軍馬匹四百余匹，轎子數(shù)乘，擔(dān)架數(shù)十副。1日，西路由羅田開來牽制的日軍一個大隊抵達(dá)長嶺關(guān)，關(guān)上僅守軍兩個班。關(guān)上哨兵望見日軍，即開一槍示警。日軍向槍聲處開一炮將關(guān)上哨棚掀掉，日軍順利進入立煌縣。2日夜，該股日軍經(jīng)漆店、白果、牛食畈抵達(dá)李集，焚毀小茅坪。日軍占領(lǐng)丁埠后沿五桂潭蹚河到曹畈，抵達(dá)金寨北面。1943年1月1日清晨，張義純代主席在立煌機場元旦慶祝大會上致詞，提到日寇動向時僅談道：“近來鄂東敵人有蠢動跡象，這是日寇裝模作樣的故技。大別山雖然不是銅墻鐵壁，但也決不讓敵人輕易侵入……”此時臺下人群突然騷動，以會場已可聞遠(yuǎn)方傳來之隆隆炮聲矣。參加大會的群眾紛紛逃散。大會一散，軍民紛紛擁出立煌向麻埠逃去。元旦夜9時，第21集團軍總部由參謀長陸蔭楫將軍率領(lǐng)向霍邱撤退�？h府各單位由縣長楊思道率領(lǐng)避往蓮花山。張義純代總司令在二日下午戰(zhàn)干團撤下來后離開陳埠，親往獨山向第7軍求援。2日日軍已到縣城。上午日機四架在城區(qū)擲彈掃射，使城區(qū)起火。下午7時，古碑沖方向日軍主力在2日下午7時燒毀古碑沖街與安徽學(xué)院照明，下午5時由石路嶺入侵日軍則燒毀第21集團軍總部。是夜兩路日軍會合于市區(qū)。西路日軍一個大隊于次日凌晨趕到。在抵達(dá)立煌后，日軍開始慘絕人寰的大屠殺：“日軍進入金家寨后便開始大燒大殺，所遇軍民無一幸免。逃跑者當(dāng)活靶射死，相遇活抓者無謂人多人少全用剌刀捅死。在鷺鷥窩，被日軍殺死在路邊，塘邊，山邊的人遍地皆是……”在大肆燒殺后，日軍分兩路撤退。西路過史河，經(jīng)雙河、鐵沖往商城，東路經(jīng)葉集往潢川。途中一部遭趕回馳援的第174師截?fù)簦�牛秉鑫師長原想將該股日軍包圍殲滅，但第84軍以救援省會任務(wù)重要，飭第174師不許戀戰(zhàn)趕往立煌。日軍退走前將立煌財物搶劫一空，然后以一個騎兵小隊持火把將整個立煌25余里市街燒毀。這把火也引燃了附近森林：“四周大小山頭楓桐朾栗被燒毀者有數(shù)萬株，火焰所至，農(nóng)舍、稻垛、牲畜、家禽全成灰燼，方圓數(shù)十華里內(nèi)斷墻殘壁，焦尸遍野。腥味散布數(shù)十里�；饎葜�大，十多華里開外，夜間地下掉根針都能找著�！睉�(zhàn)后估計損失在100億法幣以上。3日，第54師孔繁瀛師長才得到確切情報日軍已掠占立煌，于是急引兵馳援立煌。當(dāng)日孔師長抵達(dá)立煌時日軍已退走。在第56師進入立煌時，元旦慶祝大會會場上“慶祝元旦”的彩幅，被日軍改為“慶祝完蛋”。當(dāng)一萬多國軍官兵面對如此羞辱，滿地焦尸殘骸，莫不抱頭失聲痛哭�？蘼曊饎由焦�，撼天地，慟鬼神！張義純代總司令2日到麻埠，3日到達(dá)獨山第7軍軍部。張淦軍長見代總司令親臨，只好出兵。6日，第七軍將第171師調(diào)到獨山，七日張代總司令與張軍長一起率第171師出發(fā)，沿六立公路趕回立煌。8日才回到縣城。

立煌戰(zhàn)役是國軍戰(zhàn)史上的顯著失敗，也象征孤立在敵后山區(qū)建立主力守備區(qū)戰(zhàn)略思想的落伍。在中條山、呂梁山、太行山的類似游擊基地，均先后被日軍摧毀�，F(xiàn)代化的野戰(zhàn)軍應(yīng)勇于在戰(zhàn)場上運動殲敵，而非固守要地，坐以待斃。。

戰(zhàn)后，第21集團軍代總司令張義純中將撤職，調(diào)任軍委會中將高參。戰(zhàn)后1個月李主席返回立煌，將立煌警備司令丘清英，立煌縣長楊思道撤職，參戰(zhàn)的第527團團副與7名營長扣押。但不久后均無罪開釋，按兵不動的第7軍軍長張淦無處分，此亦能一觀桂系內(nèi)部人事褊袒之惡斗。此為桂軍淪于消亡的原因。

1943年1月任第33集團軍副總司令，1943年2月任軍事委員會中將高參，不久入陸軍大學(xué)將官班學(xué)習(xí)�？箲�(zhàn)勝利后任國防部中將高參，參與制訂并部署對解放區(qū)的進攻。1947年冬天至來年冬春之交，張義純還率國防部點驗組去東北，籌劃保安團隊改編正規(guī)軍事宜。1948年夏李品仙就任安徽省主席后，張義純?nèi)瓮钅闲惺鹬魅�，次年李宗仁代理總統(tǒng)，旋任為徽省政府主席兼安徽省保安司令和安徽省軍管區(qū)司令，人民解放軍橫渡長江，5月8日，張義純在在浙江開化潰退途中投誠。1950年定居上海。1956年，張義純參加上海市民革。在張治中的關(guān)懷下，1962年，張義純參加了上海市參事室的工作。后任民革上海市委對臺工作宣傳委員會委員，上海市人民政府參事，1979年當(dāng)選為民革中央團結(jié)委員。1982年9月19日在上海病逝。