家貧，隨父母到武漢謀生，父親在？口工人子弟學(xué)校任教，貧病交加，早逝。母親返娘家務(wù)農(nóng)。他決心求學(xué)，不隨母去，單身躑躅漢口街頭，靠賣勞力糊口。不久考取一所半工半讀中學(xué)。畢業(yè)后，又考入私立中華大學(xué)教育系，依然靠半工半讀維持生活和學(xué)業(yè)。1929年春，大學(xué)畢業(yè)后在襄樊一家商店當過伙計，在武昌建筑工地搬過磚瓦，在漢口打包廠扛過棉花包。1929年夏，考入國民黨湖北省教育廳舉辦的暑期教職員訓(xùn)練班。秋季結(jié)業(yè)后，分配到宜昌工作，任湖北省立民眾教育館講演員兼湖北省立第二小學(xué)教員。1934年，調(diào)大冶縣政府任督學(xué)。1936年，又調(diào)應(yīng)城縣政府任督學(xué)。蘆溝橋事變后，他激憤不已，給剛出世不久的小女兒取名“挽蘆”（挽救蘆溝橋），以示救亡圖存的決心。1937年，實現(xiàn)第二次國共合作后，我黨代表董必武與國民黨的湖北省建設(shè)廳商定，在應(yīng)城縣湯池開辦一個農(nóng)村合作事業(yè)訓(xùn)練班，培訓(xùn)抗日救國骨干。中共湖北省委派宣傳部長陶鑄去主持訓(xùn)練班的領(lǐng)導(dǎo)工作。國民黨當局派他到訓(xùn)練班“旁聽”，監(jiān)視訓(xùn)練班的活動。他到訓(xùn)練班后，目睹在這里工作的共產(chǎn)黨人都是拋家不顧，以天下為己任的革命者，深受感動。他主動找陶鑄，講明自己的真實身份和特殊使命，表明自己堅決跟共產(chǎn)黨走的決心。陶鑄高度贊揚了他的轉(zhuǎn)變，熱情歡迎他參加革命，并要求他多做些抗日救亡的宣傳發(fā)動工作。1938年10月，應(yīng)城淪陷，國民黨縣政府逃進深山，他公開加入共產(chǎn)黨的陣營，調(diào)京山縣政府任政府指導(dǎo)員。年底，經(jīng)沈德純介紹，加入中國共產(chǎn)黨。1939年春，調(diào)任應(yīng)城縣抗日動員委員會主任委員。同年秋，調(diào)任應(yīng)城縣政府民政科長，后任縣政府秘書并代理縣長。1940年春，中共應(yīng)城縣委成立，當選為縣委委員，并任政權(quán)部部長。1941年3月，中共應(yīng)城縣委召開第一次黨員代表大會，當選為縣委書記，后又兼任縣長職務(wù)。以后的年月，正是抗日戰(zhàn)爭最艱苦的階段。他在發(fā)動群眾減租減息、鞏固抗日民主政權(quán)、開展武裝斗爭等方面，都作出了卓越的貢獻。1944年8月，調(diào)任襄北專員。1945年3月調(diào)任鄂中專員，后又擔(dān)任襄北地委書記。1946年夏，中原解放區(qū)主力部隊突圍，解放戰(zhàn)爭爆發(fā)。張謙光主動請求留下堅持與敵斗爭。9月，率鄂中留守人員轉(zhuǎn)移到鄂西北武當山地區(qū)。在武當山區(qū)黨委領(lǐng)導(dǎo)下，成立鄂西北軍分區(qū)，被任命為興山地委書記兼第二軍分區(qū)政委。年底，鄂西北形勢惡化，張謙光率江漢軍分區(qū)第三團轉(zhuǎn)移到房縣、興山一帶與敵周旋，打擊敵人。1947年1月下旬，在興山大、小螺山地區(qū)與敵六十六軍兩個團和七十五軍一個團遭遇，激戰(zhàn)三晝夜，最后只剩下5個人。1947年2月26日，他們5人轉(zhuǎn)移到興山平水河后溝時遭敵包圍，他身中兩彈被俘。敵人將他押到平水河邊時，因傷勢過重而犧性。

1937年全面抗戰(zhàn)爆發(fā)后，為開展敵后抗日救亡運動和建立敵后抗日根據(jù)地，中國共產(chǎn)黨派董必武、陶鑄等到應(yīng)城縣湯池開辦湖北省農(nóng)村合作事業(yè)指導(dǎo)員訓(xùn)練班。不久，國民黨派張謙光監(jiān)視訓(xùn)練班的活動。通過旁聽陶鑄等共產(chǎn)黨人的講課，張謙光的思想發(fā)生了深刻的變化。他開始接受中國共產(chǎn)黨關(guān)于中國抗戰(zhàn)和革命的正確主張，積極向黨組織靠攏。在陶鑄等人的幫助下，張謙光一方面在政治上掩護訓(xùn)練班的活動，一方面組織和動員青年到訓(xùn)練班學(xué)習(xí)，籌建抗日宣傳隊，深入農(nóng)村，開展抗日救亡宣傳活動。

1938年底，張謙光加入了中國共產(chǎn)黨。1939年春，任應(yīng)城縣抗日動員委員會主任委員。經(jīng)過艱苦工作，成立了應(yīng)城縣第一區(qū)抗日民主政權(quán)，張謙光擔(dān)任區(qū)長。1940年春，中共應(yīng)城縣委成立，張謙光當選為縣委委員兼政權(quán)部部長。1941年3月，中共應(yīng)城縣委召開第一次黨員代表大會，張謙光當選為縣委書記，后兼任縣長。在抗日戰(zhàn)爭最艱苦的歲月中，他肩負全面領(lǐng)導(dǎo)應(yīng)城地區(qū)抗日斗爭的重任，為鄂豫邊區(qū)的建設(shè)和鞏固提供了經(jīng)濟物資和人員補給，為應(yīng)城地區(qū)的抗日斗爭做出了重要貢獻。

1944年8月，張謙光受命擔(dān)任襄北專員。次年3月，調(diào)任鄂中專員，后又擔(dān)任襄北地委書記，領(lǐng)導(dǎo)襄北地區(qū)奪取抗日戰(zhàn)爭的最后勝利。

1946年6月，國民黨發(fā)動全面內(nèi)戰(zhàn)，圍攻中原解放區(qū)。根據(jù)中共中央部署，實施中原突圍。張謙光主動要求留下堅持斗爭，擔(dān)任興山地委書記兼第二軍分區(qū)政委，率領(lǐng)鄂中留守部隊與數(shù)倍于己的敵人周旋在鄂西北武當山地區(qū)，有力地牽制了國民黨軍隊向其他解放區(qū)的進攻，為全國的解放戰(zhàn)爭做出了貢獻。

1947年2月26日，在興山縣平水河一帶，張謙光所率部隊遭到敵人重兵包圍，激戰(zhàn)中張謙光中彈被俘。敵人對他威逼利誘，軟硬兼施，都未能使他屈服。張謙光英勇就義，時年39歲。