1938年春，樹廉被派回南陽。他和許子和組織話劇團(tuán)，廣泛宣傳抗日救亡運(yùn)動(dòng)。后，經(jīng)縣長(zhǎng)陶東秩任命，擔(dān)任新集鄉(xiāng)聯(lián)保主任。他利用自己的合法地位，公開講解革命道理，秘密發(fā)展共產(chǎn)黨員。不久，建立了中共新集中心支部，樹廉擔(dān)任中心支部書記。新集地處伏牛山邊緣地帶，崗巒起伏，農(nóng)民多數(shù)都有獵槍。他向群眾提出的“抗日、防*、防匪、防盜、保衛(wèi)地方治安”等口號(hào)，深得農(nóng)民和地方鄉(xiāng)紳的擁護(hù)。樹廉利用這些有利條件，很快組織起一支擁有800支土槍的農(nóng)民武裝。土槍隊(duì)成立后，在鄉(xiāng)境內(nèi)設(shè)崗放哨，組織夜間巡邏，維護(hù)社會(huì)治安。同時(shí)，樹廉非常重視對(duì)武裝干部的培養(yǎng)，開辦土槍隊(duì)小隊(duì)長(zhǎng)訓(xùn)練班，親自講課。借此，開展思想教育，并利用辦訓(xùn)練班的機(jī)會(huì)在隊(duì)員中發(fā)展了一批共產(chǎn)黨員，加強(qiáng)了土槍隊(duì)的骨干力量。

1939年春，石橋區(qū)區(qū)長(zhǎng)郭某和地方上一些反動(dòng)分子，看到新集治安狀況好，說新集是“小延安”、“張樹廉是共產(chǎn)黨員”等，揚(yáng)言要采取“行動(dòng)”。時(shí)值國(guó)民黨南陽特別行動(dòng)隊(duì)隊(duì)長(zhǎng)常春軒也派人四處尋捕共產(chǎn)黨員和“宛屬平津同學(xué)會(huì)”的負(fù)責(zé)人，形勢(shì)緊張。

樹廉根據(jù)上級(jí)黨組織的指示，迅速離開了新集。他再經(jīng)縣長(zhǎng)陶東秩介紹去泌陽縣政府兵役科當(dāng)科長(zhǎng)。不久，去竹溝黨訓(xùn)班學(xué)習(xí)。年底，樹廉被調(diào)往鄂北云夢(mèng)縣新店區(qū)擔(dān)任區(qū)委書記兼區(qū)長(zhǎng)。先后化名李光華、李沙舟，堅(jiān)持抗日游擊戰(zhàn)，多次以奇兵制勝，沉重地打擊了日軍，敵人聞之喪膽，稱他是“人頭虎”。

1941年5、6月間的一天夜里，他帶領(lǐng)區(qū)中隊(duì)到鴨子口一帶活動(dòng)，由于叛徒出賣，不幸負(fù)傷被俘。后經(jīng)農(nóng)夫協(xié)助脫險(xiǎn)。樹廉傷愈后，任新四軍第五師云夢(mèng)指揮部指揮長(zhǎng)。

1942年秋，又調(diào)往禮南縣崇林區(qū)擔(dān)任區(qū)長(zhǎng)。1945年，調(diào)回豫鄂邊區(qū)第一軍分區(qū)，擔(dān)任募糧科科長(zhǎng)。 1946年春，李先念率部從宣化店突圍，張樹廉奉命去農(nóng)村征糧，被國(guó)民黨軍隊(duì)無理扣押，關(guān)在大冶縣監(jiān)獄，后轉(zhuǎn)往武漢。

此間，經(jīng)新四軍五師駐漢口辦事處多方營(yíng)救，未能如愿。后得知已被敵人殺害，犧牲時(shí)年僅32歲。建國(guó)后，被追認(rèn)為烈士。