1915年生于河北威縣。

1931年，在滄州市第一中學（原河北省立第二中學）讀書，“九一八”事變后參加革命，1932年光榮入團，1935年入黨，曾參加馮玉祥組織的察哈爾民眾抗日同盟軍。

1936年后任北平西郊區(qū)區(qū)委書記、中共北平市委委員、農(nóng)委書記。

1937年任中共宛平縣中心縣委書記，在平西組織抗日游擊隊，后率部隊開赴晉察冀抗日根據(jù)地。

1938年至1942年分別任晉察冀第三特委書記、邊區(qū)委員會委員，中共北岳區(qū)第三特委副書記。

1943年赴延安，進中央黨校學習，出席中共七大。

1945年至1949年分別任中共察哈爾省委副書記、察哈爾軍區(qū)政委、省委書記。北岳區(qū)委副書記，豫西軍區(qū)第二政委、豫西黨委第二書記。開封市委副書記、警備區(qū)副政委。

1949年至1953年任河南省委副書記兼工人工委書記、政協(xié)副主席，中南軍政委員會工業(yè)部部長。

1952年至1957年任地質(zhì)部副部長、黨組書記。國務(wù)院三辦副主任。期間地質(zhì)部找到了我國第一座鈾礦。

1956年至1960年任三機部、二機部副部長、黨組副書記。

1960年至1967年任二機部部長、黨組書記。國防工業(yè)辦副主任。在其主持二機部工作期間，為我國原子彈爆炸做出了重要貢獻。

1978年至1985年任河南省委書記、省長、省委第一書記、人大主任。

1982年9月、1987年11月在黨的十二大、十三大上兩次當選為中央顧問委員會委員。

1956年毛澤東主席原計劃成立中國和平利用原子能委員會，由宋任窮負責主抓工作協(xié)調(diào)各方面工作，在中國開展核子的研究利用。周恩來找宋任窮談話，談話中宋任窮向周恩來總理說出自己的建議，“核子研究以委員會對委員會之間的交往談虛的多，如中國真是要決心盡快造出自己的原子彈，我建議中央考慮成立一個實體的工業(yè)部來開展實際的研究，試驗，制造工作，由該實業(yè)部來一體抓到底，會能較快的造出自己的原子彈！而最好不要采取將研究和制造兩家分開的體制。”

這次談話之后，宋任窮先行到任中國和平利用原子能委員會開展工作。后周恩來總理親自向毛澤東主席匯報了和宋任窮的談話及宋任窮的建議后，中央采用這一建議，決定撤銷成立的和平利用原子能委員會，建立新的專門的工業(yè)部，從研究試驗到生產(chǎn)一條龍一抓到底。60年宋任窮到廣州與主席見面，匯報了第一顆原子彈64年爆炸的計劃。后來中央調(diào)宋任窮去東北工作，周總理問宋誰任部長合適，宋任窮回答：“劉杰同志可以任部長，他對二機部定的64年爆炸的計劃從頭到尾都清楚，如中央認為要部隊另調(diào)任來也可以。”之所以推薦劉杰任部長，就是基于一條龍抓到底（中間不要有間斷重新了解情況）的原則。

宋任窮的這一建議，為二機部選拔了一位好領(lǐng)導，也成為了中國后來幾個重大軍事項目研發(fā)制造的體制。

1956年至1960年，劉杰任二機部副部長、黨組副書記。1960年至1967年任二機部部長、黨組書記。二機部以研制核武器為主要任務(wù)，后來發(fā)展為中國工程物理研究院。

在劉杰擔任地質(zhì)部副部長、黨組書記期間，他找到了中國第一座鈾礦。1959年初，二機部所屬的內(nèi)蒙古包頭核燃料元件廠、甘肅蘭州鈾濃縮廠、甘肅酒泉原子能聯(lián)合企業(yè)等首批主要工程都已取得了很大進展，中方迫切需要蘇方早日供給生產(chǎn)原子彈的技術(shù)資料，等核燃料工廠建成，生產(chǎn)出裂變物質(zhì)后，即可投入武器的生產(chǎn)，并于1962年進行首次核試驗。

然而，由于蘇聯(lián)方面遲遲不能履行“國防新技術(shù)協(xié)定”中的核心內(nèi)容——提供原子彈教學模型和資料——二機部多方協(xié)調(diào)，蘇方給予的答復是，中方提出的意見有道理，也有必要，但因為需要對“國防新技術(shù)協(xié)定”中的內(nèi)容進行補充修改，所以還應由中國政府正式向蘇聯(lián)提出，派代表團赴蘇談判，解決相關(guān)的問題。

在這種情況下，6月下旬，中國方面組成了以宋任窮為團長的代表團，準備啟程前往蘇聯(lián)。這時，一個不妙的消息，從莫斯科傳到北京。

1959年6月底的一天，周恩來的秘書馬列打電話給二級部副部長劉杰，說有一份絕密文件，與核問題有關(guān)，讓他馬上去看一下。劉杰趕緊要車去了。原來是一封蘇共中央致中共中央的信函，落款日期為1959年6月20日， 6月26日那天蘇聯(lián)駐華大使館參贊蘇達列柯夫送交周恩來辦公室的。此時中央主要領(lǐng)導人都到廬山開會去了，周恩來電話里囑咐讓劉杰先看一下。

信的內(nèi)容大致是：中國二機部部長要求當時就把原子彈的樣品和設(shè)計炸彈的技術(shù)資料轉(zhuǎn)交中國，這個要求的提出正趕上日內(nèi)瓦會議在擬定禁止試驗核武器的協(xié)議，正趕上政府首腦會議即將召開，考慮到西方國家如獲悉蘇聯(lián)將核武器的樣品和設(shè)計的技術(shù)資料交給中國，就很有可能嚴重地破壞社會主義國家為爭取和平與緩和國防緊張局勢所作的努力。因此，在當時條件下，只能暫緩向中國提供原子彈的樣品和技術(shù)資料，將來如何共同行動，兩年以后看局勢發(fā)展再定。

由于這種絕密的東西不能帶走，也不能抄寫。劉杰按照規(guī)定默記了內(nèi)容。

看過信，劉杰的第一個念頭就是：由于當時蘇聯(lián)與美國、英國等西方國家正在談判禁止核試驗之事，赫魯曉夫與艾森豪威爾即將在戴維營舉行會談，蘇聯(lián)就找了這兩個理由，說是兩年以后，實則是無限期推遲給中國的援助。

回到部里，劉杰馬上把這個意思講給了宋任窮，黨組趕緊開會研究，做出了一個估計：看來從這封信開始，蘇聯(lián)在原子彈方面對中國援助的可能性，已經(jīng)不大了。

但是，這封信怎么處理呢？畢竟是蘇共中央給中共中央的信。宋任窮電話里請示在廬山開會的聶榮臻。聶榮臻感到事情重大，讓宋任窮、劉杰、萬毅擇機上廬山當面向中央主要領(lǐng)導匯報。聶榮臻聽完匯報，表示：“蘇聯(lián)不給，我們就自己搞�！敝芏鱽碜詈蟮囊庖娛牵骸爸醒胙芯窟^了，我們不理他那一套。他不給，我們就自己動手，從頭摸起，準備用八年時間搞出原子彈。”為了記住1959年6月這個特殊的日子，后來中國第一顆原子彈工程的代號就確定為 “596”。

在劉杰的組織下，一批海歸學者和科學家，踏進了鑄造民族核盾牌的中物院大門。

20世紀60年代的“兩彈”研制基地位于海拔3000米以上的高原牧區(qū)，氣候惡劣，最低溫度達零下四十度，一年內(nèi)有八九個月要穿棉衣。“饑餐砂礫飯，渴飲苦水漿。”張愛萍將軍這樣描寫當時試驗基地的條件。“草地藍天，帳篷為家；深山峽谷，別有洞天”。

當時劉杰面臨的豈止是惡劣的自然環(huán)境，國際形勢也日益嚴峻。1959年6月，蘇聯(lián)撕毀向中國提供原子彈教學模型和圖紙資料的《國防新技術(shù)協(xié)定》，1960年撤走所有技術(shù)專家，使剛剛起步的研制工作雪上加霜。

另外，核武器研制是一個龐大的系統(tǒng)工程，涉及眾多學科和諸多部門。突破“兩彈”時，全國先后有中國科學院、冶金部、化工部、交通部、水電部等26個部（委）、解放軍各軍兵種、20個省市自治區(qū)、900多個工廠企業(yè)、科研院所和高等院校等，大力支援、協(xié)同，參與了攻關(guān)與會戰(zhàn)。在劉杰的出色領(lǐng)導下，各項工作順利開展。全國上下，大力協(xié)同努力做好核武器研制工作。

從1960年底中國科學家已開始摸索氫彈原理。當時的二機部劉杰部長、錢三強副部長把研究氫彈的任務(wù)交給了在原子能研究所工作的黃祖洽、于敏、何祚庥等人。

1964年10月16日下午3時，在西北浩瀚的沙漠上，轟地一聲巨響，騰起了烈焰翻滾的巨大蘑菇狀煙云。這震撼世界的驚雷向世人宣告：中國任人欺凌的時代結(jié)束了！

第一顆原子彈爆炸成功之后，從事氫彈理論先期探索的隊伍轉(zhuǎn)入中物院理論部。理論部科研大樓，每天晚上燈火輝煌。劉杰為了琢磨一個問題，常常通宵達旦地工作；彭桓武、鄧稼先、周光召、黃祖洽、于敏等科學家的報告一個接著一個，報告廳常被擠得水泄不通。

1966年12月28日，氫彈原理試驗成功；1967年6月17日上午7時，空軍徐克江機組駕駛著72號轟炸機，進行氫彈空投試驗。

從第一顆原子彈試驗到氫彈原理突破，美國用了七年多，蘇聯(lián)用了四年，英國用了四年半，而中國僅用了兩年零兩個月。這是一個讓全世界為之震驚的速度！正是由于科技人員心中時刻惦念著民族的強盛，中國核武器的研制和發(fā)展才得以步履矯健。

2009年1月10日，在北京人民大會堂舉行的首屆管理科學獎頒獎大會上，原二機部部長劉杰因在任內(nèi)成功爆炸中國第一顆原子彈和第一顆氫彈，奠定中國第一艘核潛艇的技術(shù)物質(zhì)基礎(chǔ)，基本建成中國核燃料工業(yè)體系，在組織管理方面發(fā)揮了重大作用而獲得管理科學特殊貢獻獎。

2018年9月23日，原國家二機部部長、河南省委原第一書記、“兩彈一艇”元勛劉杰同于在深圳逝世，享年104歲。