1932年9月，任紅25軍73師217團7連通信員。1934年9月任紅25軍75師225團3連排長。1935年10月轉為中國共產黨正式黨員，任225團政治處組織科長。1936年4月任紅15軍團75師225團3連政治指導員、教導營一連政治教導員。抗日戰(zhàn)爭時期，任八路軍115師教導大隊第6隊政治指導員。1937年11月，歷任晉察冀軍區(qū)軍政學校2隊隊長、第三軍分區(qū)11團代理團長、教導大隊大隊長兼政治委員、第2團副團長、第2支隊支隊長兼政治委員、7區(qū)隊區(qū)隊長、第42團團長等職。1946年任晉察冀軍區(qū)第三軍分區(qū)副司令員、司令員。1947年起歷任晉察冀軍區(qū)野戰(zhàn)軍第一縱隊2旅旅長、第二十兵團66軍197師師長。1950年11月率部參加抗美援朝戰(zhàn)爭。1951年4月回國，駐防京津地區(qū)，任第66軍副軍長。1952年1月入解放軍軍事學院高級速成系學習，1954年畢業(yè)后任第65軍軍長。1964年5月任北京軍區(qū)副參謀長。1969年10月任濟南軍區(qū)副司令員。1975年8月任濟南軍區(qū)顧問。1955年9月被授予少將軍銜。獲二級八一勛章、二級獨立自由勛章、一級解放勛章。1979年12月31日逝世。

13歲參加紅軍，長征結束時他已經擔任過排長、團政治處組織科長、連指導員。整個抗日戰(zhàn)爭和解放戰(zhàn)爭，他都是在聶榮臻的麾下。

1943年，26歲的成少甫已經是晉察冀軍區(qū)第3軍分區(qū)42團團長。這一年日軍發(fā)動長 達叁個月的掃蕩，軍分區(qū)命令成少甫率領42團留在神仙山，堅持內線作戰(zhàn)。神仙山方圓百里，主峰1800米，是著名歌劇《白毛女》故事發(fā)生的地方。掃蕩開始后，42團漸漸被日軍合圍，42團團政委率一個連掩護后方機關跳到圈外，成少甫和團參謀長馬衛(wèi)華（后授少銜）堅持山區(qū)。當時日軍有2000人，成少甫只有6個連 ，他指揮部隊占據天險金龍洞，日軍進攻叁天，寸土未獲。成少甫預測到日軍會攻擊一個叫九里十八灣的天險，布置了地雷陣。日軍進入了地雷陣，遭到42團伏擊，九里十八灣的九里路，日軍整整爬行了一天。日軍第一次圍攻神仙山，傷亡200余人，成少甫的42團僅傷亡17人。日軍第二次圍攻神仙山，采用了閃擊方式， 軍分區(qū)機關、學校、工廠、醫(yī)院和42團又被圍住了。成少甫派出的偵察員偵察到西南方向有兩叁里的空隙，當晚，機關、學校、工廠、醫(yī)院從這個空隙中轉移了，成少甫命令四個連留下四個班、排，自己帶著團指揮所上了神仙山主峰，堅持到日軍撤退。 1950年，成少甫率66軍197師入朝作戰(zhàn)，獲朝鮮二級自由獨立勛章。回國后，升任 6軍副軍長，1954年畢業(yè)于南京軍事學院。后歷任軍長、北京軍區(qū)副參謀長、濟南軍區(qū)副司令員。成少甫1955年被授予少將軍銜。獲二級八一勛章、二級獨立自由勛章、一級解放勛章。