肇棠7歲入塾，14歲到文廟街小學(xué)讀書,后考入甘肅省第一中學(xué)，為圖報國,1915年又考入甘肅陸軍測量學(xué)校，畢業(yè)后,以全校第一名的資格被推薦到甘肅陸軍測量局工作,不久任科長。

1920年，他調(diào)到隴東鎮(zhèn)守使署當(dāng)參謀。因厭惡統(tǒng)領(lǐng)貪污腐化、行賄受賄的行為，于1922年冬辭職，又到陜軍第一師騎兵訓(xùn)練處（駐今邯鄲）工作，23年冬，他受命到廣州向?qū)O中山匯報西北黨務(wù)工作。途徑上海時，向胡漢民、張繼交了函件，并由二人介紹加入國民黨。1924年1 月到廣州，由廖仲愷引薦謁見孫中山，面呈了劉守中的黨務(wù)報告，并就西北政治、軍事、風(fēng)物民情作了親切交談。2月，他帶著孫中山"依托陜軍在北方大張革命勢力"指示，到北平向李大釗等做了匯報。又返回邯鄲，負責(zé)西北黨務(wù)工作。

1924年秋，第二次直奉戰(zhàn)爭爆發(fā)。他隨騎兵訓(xùn)練處挺進隊投入反軍閥之戰(zhàn)，轉(zhuǎn)戰(zhàn)于通州、喜峰口及熱河平泉一線。沿途屢戰(zhàn)屢捷。北閥之際，奉命開往豫西，因戰(zhàn)功卓著，被擢升為團長，后所在部隊改編為國民革命軍新編第十九軍，他任第一師師長。不久，蔣介石背叛革命，下令各軍清除共產(chǎn)黨，他不但不予執(zhí)行，反力勸高桂滋將阜陽暴動中入獄的30余名共產(chǎn)黨員全部釋放，然后毅然率部離開47軍，參加了唐生智"護黨救國"之役和馮玉祥、閻錫山的聯(lián)合倒蔣之役，并先后同楊虎城、鄧寶珊會同，到山西、陜西、甘肅各省聯(lián)合倒蔣介石勢力，以圖東山再起。大革命失敗和自己所遭挫折，使他深刻認識到，軍閥混戰(zhàn)的局面難以改變，他更加同情支持共產(chǎn)黨。

"西安事變"發(fā)生后，楊虎城電約他到西安謀事，到西安時，蔣介石已被釋放，他又到北平。蘆溝橋事變后，積極開展抗日活動，并始終與八路軍保持聯(lián)系。1939年，任副軍長，他到重慶向何應(yīng)欽、蔣介石請示匯報，蔣介石為了籠絡(luò)人心，對他所提條件全部答應(yīng)，后由于受到陷害，于1941年1 月1日，迅速投奔共產(chǎn)黨領(lǐng)導(dǎo)之下的晉冀魯豫抗日根據(jù)地，受到彭德懷的熱情歡迎和親切接見。6日，即當(dāng)選為晉冀魯豫臨時參議會副參議長。

1943年11月16日，他來到久慕之地延安，受到毛澤東、朱德、賀龍等中共領(lǐng)導(dǎo)人接見。1945年5月10日，毛澤東批準(zhǔn)他為中共正式黨員。8月，日本投降，蔣介石又發(fā)起內(nèi)戰(zhàn)，中共中央派他前往邯鄲改造高樹勛起義部隊。經(jīng)過艱苦危險的工作，圓滿完成任務(wù)。翌年12月，中共華北局任命他為民主建國軍（原高樹勛部）副軍長。1948年7月，晉冀魯豫邊區(qū)政府召開華北臨時人民代表大會，當(dāng)選為華北正式代表參加了第一屆中國人民政治協(xié)商會議。10月29日，陜甘寧邊區(qū)政府任命邢肇棠為寧夏省人民政府副主席。12月2日，中央人民政府任命他為西北軍政委員會委員，1952年1月9日，中央人民政府又任命為寧夏人民政府主席。同年，在中共寧夏省委第三次代表大會上當(dāng)選為常務(wù)委員會委員，1955年1 月，調(diào)任河南省第一副省長，還當(dāng)選為第一屆全國人民代表大會代表。

在1947年前后，邢肇棠還寫過不少見聞雜記一類文章，后收集在《時事兩面觀》和《有啥說啥》兩個集子里，由晉冀魯豫出版社出版發(fā)行。

歷任國民革命軍營長、師長，國民黨第四十七軍師長，冀察游擊司令部副司令，新編第五軍副軍長，民主建國軍副總司令，華北人民政府水利委員會主任，寧夏省人民政府副主席、主席，河南省副省長。