西晉末年，羯族人在河北起兵，程遐隨石勒征戰(zhàn)，任右司馬。石勒占領(lǐng)冀州諸縣后，提拔程遐為寧朔將軍，兼冀州七郡諸軍事。

太興二年（公元319年),程遐和張賓等100多人上疏勸進(jìn),要石勒稱帝,石勒遂稱趙王。

石勒迎娶程遐之妹為夫人，生世子石弘。程遐作為皇帝國(guó)戚，權(quán)勢(shì)漸大。不久，程遐升任右長(zhǎng)史，總攬后趙朝政，朝臣競(jìng)相投依逢迎。

鄴城（令河北臨漳縣西南）是華北地區(qū)的一座重要城市，由后趙勇將、石勒從子石虎鎮(zhèn)守。石勒和程遐秘密商議，要在鄴城營(yíng)造宮殿，并改由世子石弘鎮(zhèn)守。因此，程遐遭石虎忌恨，為以后埋下禍根。

333年7月，石勒病亡，石虎主持勒喪，棺殮既畢，即舁棺夜瘞山谷。

石虎劫出太子弘，使他升殿，脅令手書，收捕程遐、徐光下獄。逼石弘登位，改元延熙。文武百官，各進(jìn)位一等，惟將程遐、徐光牽斬市曹。

咸和五年（公元330年），石勒自稱趙天王，行皇帝事，以程遐為右仆射、領(lǐng)吏部尚書。

右仆射程遐進(jìn)言道：“天下初定，應(yīng)明罰敕法，顯示順逆。從前漢高斬丁公，赦季布，便是此意。大王自起兵以來，褒忠誅逆，中外歸心，惟江左叛臣祖約，猶存我國(guó)，竊為不解。且約大引賓客，又占奪先人田里，地主多銜怨切骨，大王何尚事姑容，不申天罰呢？”勒本謂約不忠，有心鄙薄，雖然前次收納，卻未嘗召見，約降后趙，見四十回。至此聽了遐言，便使人給約道：“祖侯遠(yuǎn)來，未暇歡敘，今幸西寇告平，國(guó)家無事，可率子弟來會(huì)，借表積誠(chéng)。”言外又與訂會(huì)期。

約得了此信，當(dāng)然欣慰，屆期這一日，約挈子弟登殿，求見趙天王石勒。勒佯稱疾，但令程遐接待。遐邀入別室，引與共飲，暗中著人詐托約言，召約親屬，一并到來。約見全族俱至，不禁動(dòng)疑，且室外甲士趨集，料知兇多吉少，自思無法脫身，索性拚命亂喝，得能從此醉死，也省得眼見慘刑。偏程遐瞧透約意，待約半醉，便起座大言道：“天王有令，祖約叛國(guó)不忠，罪應(yīng)誅夷�！边@語說出，甲士俱從外突入，立將祖約拿下，所有約親信數(shù)十人，均被驅(qū)出，牽往市曹。驀見有一群罪犯，由兵役押令前來，仔細(xì)一瞧，乃是一班蓬頭少婦，垢面童兒，沒一個(gè)不是家眷。此時(shí)心如刀割，險(xiǎn)些兒暈了過去。忽有一數(shù)齡稚子，趨至約旁，手牽衣襟，哭呼外祖。約手未被縛，便將稚子抱起，且泣且語道：“外孫外孫，汝外祖不該背國(guó)，連害汝曹�！被谝策t了。旁邊走過似虎似狼的甲士，把他外孫奪去，擲諸地上，已是跌個(gè)半死。一聲炮響，刀光四閃，可憐祖約以下的男子，不論老少長(zhǎng)幼，都做了無頭鬼。就中只有祖逖庶子道重，由后趙左衛(wèi)將軍王安，買囑兵士，將他留下，為安攜去。余如婦女妓妾，也算赦免，但己皆沒為官奴，分充羯人的婢妾去了。

后來石弘被立為太子，但受到石虎威脅，地位很不穩(wěn)固。

333年，程遐入白道：“中山王勇武權(quán)智，群臣莫及，看他志意，除陛下一人外，統(tǒng)皆蔑視。今專征日久，威振內(nèi)外，性又不仁，殘暴好殺，諸子又并長(zhǎng)大，似虎添翼，共預(yù)兵權(quán)，陛下在日，諒無他變，將來必致跋扈，非少主臣，還請(qǐng)陛下綢繆，早除此患。”勒變色道：“今天下未平，兵難未已，大雅年少，宜資輔弼，中山系佐命功臣，親同魯衛(wèi)，朕方欲委以重任，何至如卿所言。卿莫非因中山在側(cè)，雖然身為帝舅，將來不得專政，故有此慮？朕已早為卿計(jì)，如或不諱，先當(dāng)使卿參預(yù)顧命，卿盡可安心哩�！卞诓唤�流淚道：“臣實(shí)公言，并非私計(jì)，陛下奈何疑臣有私？中山雖為皇太后所養(yǎng)，究竟非陛下骨肉，難語恩義，近不過托陛下神規(guī)，稍建功績(jī)，陛下報(bào)以重爵，并及嗣子，也可謂恩至義盡了。魏任司馬懿父子，終被篡國(guó)，前鑒未遠(yuǎn)，怎得不防？臣累沐寵榮，又與東宮托附瓜葛，若不盡言，尚望何人？陛下今不除中山，恐社稷不復(fù)血食了�！币允栝g親，亦非良策。勒終不肯叢。遐只好叩頭告退。

程遐出遇徐光，便與光敘談，述及進(jìn)諫不從情形。光答道：“中山王對(duì)我兩人，時(shí)常切齒，不但與國(guó)有害，且必累及家禍，我等總當(dāng)預(yù)先設(shè)法，保國(guó)安家，怎可坐待危禍哩？”遐皺眉道：“君有甚么良策？”光想了多時(shí)，方答說道：“中山手擁強(qiáng)兵，威勢(shì)甚盛，我等無拳無勇，如何抵制？看來只好再三進(jìn)諫，得能感悟主心，方得轉(zhuǎn)禍為福呢�！钡�靠此策，何能制虎？遐搖首道：“只恐主上未必肯從。”