1915年生于河北威縣。

1931年，在滄州市第一中學(xué)（原河北省立第二中學(xué)）讀書，“九一八”事變后參加革命，1932年光榮入團(tuán)，1935年入黨，曾參加馮玉祥組織的察哈爾民眾抗日同盟軍。

1936年后任北平西郊區(qū)區(qū)委書記、中共北平市委委員、農(nóng)委書記。

1937年任中共宛平縣中心縣委書記，在平西組織抗日游擊隊(duì)，后率部隊(duì)開赴晉察冀抗日根據(jù)地。

1938年至1942年分別任晉察冀第三特委書記、邊區(qū)委員會(huì)委員，中共北岳區(qū)第三特委副書記。

1943年赴延安，進(jìn)中央黨校學(xué)習(xí)，出席中共七大。

1945年至1949年分別任中共察哈爾省委副書記、察哈爾軍區(qū)政委、省委書記。北岳區(qū)委副書記，豫西軍區(qū)第二政委、豫西黨委第二書記。開封市委副書記、警備區(qū)副政委。

1949年至1953年任河南省委副書記兼工人工委書記、政協(xié)副主席，中南軍政委員會(huì)工業(yè)部部長。

1952年至1957年任地質(zhì)部副部長、黨組書記。國務(wù)院三辦副主任。期間地質(zhì)部找到了我國第一座鈾礦。

1956年至1960年任三機(jī)部、二機(jī)部副部長、黨組副書記。

1960年至1967年任二機(jī)部部長、黨組書記。國防工業(yè)辦副主任。在其主持二機(jī)部工作期間，為我國原子彈爆炸做出了重要貢獻(xiàn)。

1978年至1985年任河南省委書記、省長、省委第一書記、人大主任。

1982年9月、1987年11月在黨的十二大、十三大上兩次當(dāng)選為中央顧問委員會(huì)委員。

1956年毛澤東主席原計(jì)劃成立中國和平利用原子能委員會(huì)，由宋任窮負(fù)責(zé)主抓工作協(xié)調(diào)各方面工作，在中國開展核子的研究利用。周恩來找宋任窮談話，談話中宋任窮向周恩來總理說出自己的建議，“核子研究以委員會(huì)對(duì)委員會(huì)之間的交往談虛的多，如中國真是要決心盡快造出自己的原子彈，我建議中央考慮成立一個(gè)實(shí)體的工業(yè)部來開展實(shí)際的研究，試驗(yàn)，制造工作，由該實(shí)業(yè)部來一體抓到底，會(huì)能較快的造出自己的原子彈！而最好不要采取將研究和制造兩家分開的體制�！�

這次談話之后，宋任窮先行到任中國和平利用原子能委員會(huì)開展工作。后周恩來總理親自向毛澤東主席匯報(bào)了和宋任窮的談話及宋任窮的建議后，中央采用這一建議，決定撤銷成立的和平利用原子能委員會(huì)，建立新的專門的工業(yè)部，從研究試驗(yàn)到生產(chǎn)一條龍一抓到底。60年宋任窮到廣州與主席見面，匯報(bào)了第一顆原子彈64年爆炸的計(jì)劃。后來中央調(diào)宋任窮去東北工作，周總理問宋誰任部長合適，宋任窮回答：“劉杰同志可以任部長，他對(duì)二機(jī)部定的64年爆炸的計(jì)劃從頭到尾都清楚，如中央認(rèn)為要部隊(duì)另調(diào)任來也可以�！敝�所以推薦劉杰任部長，就是基于一條龍抓到底（中間不要有間斷重新了解情況）的原則。

宋任窮的這一建議，為二機(jī)部選拔了一位好領(lǐng)導(dǎo)，也成為了中國后來幾個(gè)重大軍事項(xiàng)目研發(fā)制造的體制。

1956年至1960年，劉杰任二機(jī)部副部長、黨組副書記。1960年至1967年任二機(jī)部部長、黨組書記。二機(jī)部以研制核武器為主要任務(wù)，后來發(fā)展為中國工程物理研究院。

在劉杰擔(dān)任地質(zhì)部副部長、黨組書記期間，他找到了中國第一座鈾礦。1959年初，二機(jī)部所屬的內(nèi)蒙古包頭核燃料元件廠、甘肅蘭州鈾濃縮廠、甘肅酒泉原子能聯(lián)合企業(yè)等首批主要工程都已取得了很大進(jìn)展，中方迫切需要蘇方早日供給生產(chǎn)原子彈的技術(shù)資料，等核燃料工廠建成，生產(chǎn)出裂變物質(zhì)后，即可投入武器的生產(chǎn)，并于1962年進(jìn)行首次核試驗(yàn)。

然而，由于蘇聯(lián)方面遲遲不能履行“國防新技術(shù)協(xié)定”中的核心內(nèi)容——提供原子彈教學(xué)模型和資料——二機(jī)部多方協(xié)調(diào)，蘇方給予的答復(fù)是，中方提出的意見有道理，也有必要，但因?yàn)樾枰獙?duì)“國防新技術(shù)協(xié)定”中的內(nèi)容進(jìn)行補(bǔ)充修改，所以還應(yīng)由中國政府正式向蘇聯(lián)提出，派代表團(tuán)赴蘇談判，解決相關(guān)的問題。

在這種情況下，6月下旬，中國方面組成了以宋任窮為團(tuán)長的代表團(tuán)，準(zhǔn)備啟程前往蘇聯(lián)。這時(shí)，一個(gè)不妙的消息，從莫斯科傳到北京。

1959年6月底的一天，周恩來的秘書馬列打電話給二級(jí)部副部長劉杰，說有一份絕密文件，與核問題有關(guān)，讓他馬上去看一下。劉杰趕緊要車去了。原來是一封蘇共中央致中共中央的信函，落款日期為1959年6月20日， 6月26日那天蘇聯(lián)駐華大使館參贊蘇達(dá)列柯夫送交周恩來辦公室的。此時(shí)中央主要領(lǐng)導(dǎo)人都到廬山開會(huì)去了，周恩來電話里囑咐讓劉杰先看一下。

信的內(nèi)容大致是：中國二機(jī)部部長要求當(dāng)時(shí)就把原子彈的樣品和設(shè)計(jì)炸彈的技術(shù)資料轉(zhuǎn)交中國，這個(gè)要求的提出正趕上日內(nèi)瓦會(huì)議在擬定禁止試驗(yàn)核武器的協(xié)議，正趕上政府首腦會(huì)議即將召開，考慮到西方國家如獲悉蘇聯(lián)將核武器的樣品和設(shè)計(jì)的技術(shù)資料交給中國，就很有可能嚴(yán)重地破壞社會(huì)主義國家為爭(zhēng)取和平與緩和國防緊張局勢(shì)所作的努力。因此，在當(dāng)時(shí)條件下，只能暫緩向中國提供原子彈的樣品和技術(shù)資料，將來如何共同行動(dòng)，兩年以后看局勢(shì)發(fā)展再定。

由于這種絕密的東西不能帶走，也不能抄寫。劉杰按照規(guī)定默記了內(nèi)容。

看過信，劉杰的第一個(gè)念頭就是：由于當(dāng)時(shí)蘇聯(lián)與美國、英國等西方國家正在談判禁止核試驗(yàn)之事，赫魯曉夫與艾森豪威爾即將在戴維營舉行會(huì)談，蘇聯(lián)就找了這兩個(gè)理由，說是兩年以后，實(shí)則是無限期推遲給中國的援助。

回到部里，劉杰馬上把這個(gè)意思講給了宋任窮，黨組趕緊開會(huì)研究，做出了一個(gè)估計(jì)：看來從這封信開始，蘇聯(lián)在原子彈方面對(duì)中國援助的可能性，已經(jīng)不大了。

但是，這封信怎么處理呢？畢竟是蘇共中央給中共中央的信。宋任窮電話里請(qǐng)示在廬山開會(huì)的聶榮臻。聶榮臻感到事情重大，讓宋任窮、劉杰、萬毅擇機(jī)上廬山當(dāng)面向中央主要領(lǐng)導(dǎo)匯報(bào)。聶榮臻聽完匯報(bào)，表示：“蘇聯(lián)不給，我們就自己搞�！敝芏鱽碜詈蟮囊庖娛牵骸爸醒胙芯窟^了，我們不理他那一套。他不給，我們就自己動(dòng)手，從頭摸起，準(zhǔn)備用八年時(shí)間搞出原子彈�！睘榱擞涀�1959年6月這個(gè)特殊的日子，后來中國第一顆原子彈工程的代號(hào)就確定為 “596”。

在劉杰的組織下，一批海歸學(xué)者和科學(xué)家，踏進(jìn)了鑄造民族核盾牌的中物院大門。

20世紀(jì)60年代的“兩彈”研制基地位于海拔3000米以上的高原牧區(qū)，氣候惡劣，最低溫度達(dá)零下四十度，一年內(nèi)有八九個(gè)月要穿棉衣�！梆嚥蜕暗[飯，渴飲苦水漿�！睆垚燮紝④娺@樣描寫當(dāng)時(shí)試驗(yàn)基地的條件。“草地藍(lán)天，帳篷為家；深山峽谷，別有洞天”。

當(dāng)時(shí)劉杰面臨的豈止是惡劣的自然環(huán)境，國際形勢(shì)也日益嚴(yán)峻。1959年6月，蘇聯(lián)撕毀向中國提供原子彈教學(xué)模型和圖紙資料的《國防新技術(shù)協(xié)定》，1960年撤走所有技術(shù)專家，使剛剛起步的研制工作雪上加霜。

另外，核武器研制是一個(gè)龐大的系統(tǒng)工程，涉及眾多學(xué)科和諸多部門。突破“兩彈”時(shí)，全國先后有中國科學(xué)院、冶金部、化工部、交通部、水電部等26個(gè)部（委）、解放軍各軍兵種、20個(gè)省市自治區(qū)、900多個(gè)工廠企業(yè)、科研院所和高等院校等，大力支援、協(xié)同，參與了攻關(guān)與會(huì)戰(zhàn)。在劉杰的出色領(lǐng)導(dǎo)下，各項(xiàng)工作順利開展。全國上下，大力協(xié)同努力做好核武器研制工作。

從1960年底中國科學(xué)家已開始摸索氫彈原理。當(dāng)時(shí)的二機(jī)部劉杰部長、錢三強(qiáng)副部長把研究氫彈的任務(wù)交給了在原子能研究所工作的黃祖洽、于敏、何祚庥等人。

1964年10月16日下午3時(shí)，在西北浩瀚的沙漠上，轟地一聲巨響，騰起了烈焰翻滾的巨大蘑菇狀煙云。這震撼世界的驚雷向世人宣告：中國任人欺凌的時(shí)代結(jié)束了！

第一顆原子彈爆炸成功之后，從事氫彈理論先期探索的隊(duì)伍轉(zhuǎn)入中物院理論部。理論部科研大樓，每天晚上燈火輝煌。劉杰為了琢磨一個(gè)問題，常常通宵達(dá)旦地工作；彭桓武、鄧稼先、周光召、黃祖洽、于敏等科學(xué)家的報(bào)告一個(gè)接著一個(gè)，報(bào)告廳常被擠得水泄不通。

1966年12月28日，氫彈原理試驗(yàn)成功；1967年6月17日上午7時(shí)，空軍徐克江機(jī)組駕駛著72號(hào)轟炸機(jī)，進(jìn)行氫彈空投試驗(yàn)。

從第一顆原子彈試驗(yàn)到氫彈原理突破，美國用了七年多，蘇聯(lián)用了四年，英國用了四年半，而中國僅用了兩年零兩個(gè)月。這是一個(gè)讓全世界為之震驚的速度！正是由于科技人員心中時(shí)刻惦念著民族的強(qiáng)盛，中國核武器的研制和發(fā)展才得以步履矯健。

2009年1月10日，在北京人民大會(huì)堂舉行的首屆管理科學(xué)獎(jiǎng)?lì)C獎(jiǎng)大會(huì)上，原二機(jī)部部長劉杰因在任內(nèi)成功爆炸中國第一顆原子彈和第一顆氫彈，奠定中國第一艘核潛艇的技術(shù)物質(zhì)基礎(chǔ)，基本建成中國核燃料工業(yè)體系，在組織管理方面發(fā)揮了重大作用而獲得管理科學(xué)特殊貢獻(xiàn)獎(jiǎng)。

2018年9月23日，原國家二機(jī)部部長、河南省委原第一書記、“兩彈一艇”元?jiǎng)讋⒔芡�于在深圳逝世，享�?04歲。