其自幼天資聰慧，熱愛(ài)學(xué)習(xí)，經(jīng)常閱讀古典名著，如《三國(guó)演義》、《水滸傳》等，逐步養(yǎng)成了懲惡揚(yáng)善、除暴安良的俠肝義膽。民國(guó)九年(1920年)冀南一帶大旱，顆粒不收。為了幫助鄉(xiāng)親解決生計(jì)，他發(fā)起舉辦了有900人參加的紡織廠，用舊式紡車、舊式布機(jī)紡織土布，并由他負(fù)責(zé)征資、推銷。民國(guó)十年(1921年)，為了辦學(xué)校，他與王永豐等將何橫城村奶奶廟神像砸毀，于1924年在這里創(chuàng)辦了磁縣第七高小(當(dāng)時(shí)屬磁縣)，后又在商城南寺建立了分校，為此受到巫婆神漢老善友們的咒罵。1927年，他又聯(lián)合王永豐、孫貴卿、李香亭等人在西大沙創(chuàng)辦利華林場(chǎng)，栽植刺槐、青楊2500余畝。

1936年，張蔭三組織東三約(即商城周圍38個(gè)村的總稱)群眾抗捐抗暴，并帶領(lǐng)群眾到磁縣縣城游行示威，遭到反動(dòng)政府的懸賞通緝，被迫逃往武安避難。

抗日戰(zhàn)爭(zhēng)開(kāi)始后，張蔭三出于愛(ài)國(guó)之心，積極投人抗日工作，并于1941年組織10人團(tuán)到太行山根據(jù)地參觀，向鄧小平政委、楊秀峰主席匯報(bào)了日寇屠殺人民的暴行，要求領(lǐng)導(dǎo)派部隊(duì)開(kāi)辟磁東地區(qū)。此次經(jīng)王維綱推薦，張蔭三參加了晉冀魯豫邊區(qū)政府會(huì)議，并擔(dān)任了參議員，受到朱德總司令、劉少奇、周恩來(lái)、楊秀峰、薄一波等領(lǐng)導(dǎo)接見(jiàn)。