謝肇齊自幼聰慧，唯因赤貧失學(xué)，幸得鄉(xiāng)中陳姓塾師賞識，予以免束修施教。及長，考入廈門集美師范學(xué)院。畢業(yè)後依約返鄉(xiāng)、執(zhí)教於縣立武平中學(xué)。後與集美師范同學(xué)林豐炳結(jié)伴，步行至黃埔島，入黃埔軍校六期騎兵科。北伐後，經(jīng)國府考選，於1931年赴英國皇家軍校接受西式軍事教育。1934年畢業(yè)返國，隨即進入裝甲兵學(xué)校前身之陸軍機械化學(xué)校任大隊長，肩負訓(xùn)練中國有史以來首批裝甲兵之重責。抗日戰(zhàn)爭初期，領(lǐng)中國唯一的機械化大隊駐扎岳麓山，繼續(xù)訓(xùn)練。1941年，接任抗戰(zhàn)時期中國最大的新兵訓(xùn)練基地札佐演習(xí)場場長職。先後為胡宗南部、宋希濂部和杜聿明部等，訓(xùn)練了大批精悍士兵，成為中國最精銳之抗日部隊。1945年初，任98軍副軍長，率領(lǐng)札佐演習(xí)場之全體萬馀官兵，協(xié)同孫元良之29軍，在貴州獨山與平塘，擊退企圖經(jīng)由貴州攻入陪都重慶之日軍。

　　抗日戰(zhàn)爭結(jié)束後，於1947年，赴美留學(xué)，1948年畢業(yè)於美國陸軍指揮參謀大學(xué)。返國後，歷任騎兵17旅旅長，陸軍32師師長，70軍副軍長等職。

　　國府遷臺後，於1950年任陸軍總部第五署署長，1951年轉(zhuǎn)任陸軍步兵學(xué)校教育長，在任內(nèi)，步校連續(xù)兩年被美軍顧問團團長蔡斯將軍評鑒為國軍表現(xiàn)最佳之接受美援單位，蔣介石得知，於1953年，調(diào)其為黃埔軍校教育長，并著令赴美一年，考察西點軍校制度，為軍校改制做準備。1954年謝氏返國，被任命為黃埔校史上第五任校長，自27期起，黃埔軍校成為國軍第一個四年制，畢業(yè)時頒授學(xué)士學(xué)位之軍事院校。

　　1955年夏，蔣經(jīng)國長子蔣孝文，進入軍校28期就讀，因不能適應(yīng)嚴格之軍事教育，課業(yè)亦落後，乃藉口鼻疾，1955年底即退學(xué)。另一同期同學(xué)為總政治部主任蔣堅忍之子，因成績不及格遭退訓(xùn)。蔣堅忍遷怒謝氏，乃動用政工系統(tǒng)，羅織「摧殘青年」之罪名，將謝氏於1956年初革職。事隔年馀，蔣介石查明真相後，再度重用謝氏，命其為軍方代表，會同鄭彥棻、李國鼎、沈宗翰、查良鑒等黨政人士，參與籌劃成立國防研究院，為國府此後二十年之黨政軍骨干作召訓(xùn)準備。1959年，謝氏與孫運璿、連震東、胡宗南等，同時入該院第一期受訓(xùn)。畢業(yè)後，因逐漸掌握實權(quán)之蔣經(jīng)國反對，謝氏未得派任新職。蔣介石乃調(diào)其至總統(tǒng)府任參軍。1960年，蔣介石以對調(diào)之名義，將謝氏之職務(wù)與三軍聯(lián)合參謀大學(xué)教育長龔愚對換，并晉升謝氏為中將。1965年，蔣經(jīng)國就任國防部部長後，下令謝氏提前退伍。

　　謝氏一代儒將，擅詩文，經(jīng)常在武平同鄉(xiāng)會刊上發(fā)表詩作。早年除編撰國軍經(jīng)典騎兵手冊「馬事指針」及輕、重機槍維修與使用手冊外，亦常在各國防刊物上發(fā)表對戰(zhàn)術(shù)、戰(zhàn)略之研究，迭獲國防部年度佳作獎。軍旅生涯結(jié)束後，曾在臺北各大學(xué)任英文教授，1975年正式退休。1992年赴美依親。1995年9月1日，病逝於美國舊金山。