1930年考入桓臺縣第四高級小學，1936年于高苑縣鄉(xiāng)村師范畢業(yè)后，到曹村小學任教。

1937年抗日戰(zhàn)爭爆發(fā)后，冠五與在雋山小學教書的同學張沖凌串連，在學校里開展抗日活動。1937年8月，共產(chǎn)黨員趙明新到長山九區(qū)(今衛(wèi)固一帶) 發(fā)動群眾抗日，冠五聞訊后立即拜訪了他。同年，張冠五帶領(lǐng)部分知識青年，奔赴太平莊參加了共產(chǎn)黨領(lǐng)導的黑鐵山起義。1938年3月，他加入了中國共產(chǎn)黨。 1938年7月，冠五隨廖容標司令員南下，任四支隊政治部宣傳干事。是年秋，日偽軍集中了萬余人，對魯南山區(qū)展開大規(guī)模“掃蕩”，泰安城內(nèi)的敵兵大部調(diào)出，只留下少數(shù)偽軍把守著西關(guān)和火車站。為打擊敵人的囂張氣焰，冠五奉命率一個區(qū)中隊化裝成偽軍，先期進入泰安西關(guān)， 里應(yīng)外合， 俘虜了漢奸隊長錢正明及全部偽軍，迫使泰安城參加“掃蕩”的偽軍全部返防。

冠五能寫會唱，經(jīng)常編一些快板、順口溜在部隊中演唱，鼓舞了士氣。

是年秋，他帶領(lǐng)部分宣傳隊員，隨部隊到淄川縣西河鎮(zhèn)，做爭取翟汝鑒部參加抗日的工作，冠五與隊員們自編自演了鳳陽花鼓《孝婦河畔》，增強了翟部官兵們的民族自尊感和愛國抗日信心。 1941年夏，冠五在山東軍區(qū)舉辦的抗大學習班結(jié)業(yè)后，被任命為某部一旅三團民運股長，駐扎在泰安附近的山區(qū)。

1941年11月，張冠五率部到新泰縣孫村煤礦開辟工作。一天晚上，冠五率一小分隊潛入敵人據(jù)點附近的一個村莊，沒開一槍，便繳了前來村中催糧的偽軍的槍支， 隨即又捕獲了駐在大龐莊據(jù)點的日軍小隊長山口，俘虜日軍10余名和2個分隊的偽軍。 1942年農(nóng)歷5月中旬， 張冠五接受了在天寶山打伏擊的任務(wù)，他帶領(lǐng)二連冒雨沖進敵人的師部。敵衛(wèi)隊長劉三喜背起敵師長劉春霖倉惶而逃，冠五抬手一槍，子彈穿過敵衛(wèi)隊長的小腹，并打傷了背后敵師長的睪丸。戰(zhàn)斗結(jié)束后，戰(zhàn)士們贊揚說：“冠五神槍手，一槍穿二酋�！� 1942年冬，中共山東分局黨校遷到魯南腹地東莊，冠五奉命帶隊在蘇家崮擔任警戒。 一天，他指揮部隊連續(xù)挫敗了敵人的4次進攻，完成了保衛(wèi)任務(wù)，受到中共山東分局的嘉獎同年4月中旬，冠五帶警衛(wèi)員到費縣啞叭山一帶開展工作，遭到國民黨部隊的包圍。為了掩護駐村干部和群眾轉(zhuǎn)移，他與警衛(wèi)員向敵人勇猛沖殺。在激戰(zhàn)中，警衛(wèi)員中彈犧牲，冠五也身中數(shù)彈，血流如注。子彈打完后，他用盡全身力氣，將兩只匣槍摔壞，隨即壯烈犧牲。

1945年冬，張冠五升任為山東軍區(qū)九旅七團副政委兼政治處主任。

1947年春，他又被任命為魯南三分區(qū)人武部長。