年少時(shí)勇武，后在唐明宗手下任職，屢立戰(zhàn)功，官至龍武都指揮使，清泰年間任鄧州刺史，橫征暴斂，執(zhí)法殘暴，弄得民怨沸騰。944年，契丹王耶律德光首次南下中原，皇甫遇在鄆州勝契丹軍，契丹軍溺死數(shù)千人。945年，于榆林店之戰(zhàn)與安審琦勝契丹軍。947年，契丹再次南侵，晉軍主帥杜重威投降，皇甫遇心中悲憤，不從，割喉自殺而死。遠(yuǎn)近之人聞之都為之感動(dòng)。劉知遠(yuǎn)即位后，追贈(zèng)其中書令。

皇甫遇，常山人也。父武，流寓太原，嘗為遮塞軍使。遇少好勇，及壯，虬髯，善騎射。唐明宗在藩時(shí)，隸于麾下，累從戰(zhàn)有功。明宗即位，遷龍武都指揮使，遙領(lǐng)嚴(yán)州刺史，出討東川，為行營左軍都指揮使。應(yīng)順、清泰中，累歷團(tuán)練防御使，尋遷鄧州節(jié)度使。所至苛暴，以誅斂為務(wù)，其幕客多私去，以避其累。

高祖入洛，移領(lǐng)中山，俄聞與鎮(zhèn)州安重榮為婚家，乃移鎮(zhèn)上黨，又改平陽，咸以憸人執(zhí)事，政事隳紊。及鎮(zhèn)河陽，部內(nèi)創(chuàng)別業(yè)，開畎水泉，以通溉灌，所經(jīng)墳?zāi)瓜�毀之，部民以朝廷方姑息郡帥，莫之敢訴。

少帝即位，罷歸闕下。二年，契丹南寇，從至澶州，戰(zhàn)于鄆州北津，契丹眾大敗，溺死者數(shù)千人，以功拜滑州節(jié)度使。三年，契丹率眾屯邯鄲，遇與安審琦、慕容彥超等御之。遇將渡漳河，契丹前鋒大至，遇引退，轉(zhuǎn)斗二十里至鄴南榆林。遇謂審琦等曰：“彼眾我寡，走無生路，不如血戰(zhàn)�！彼熳猿郊拔�，戰(zhàn)百余合，所傷甚眾。遇所乘馬中鏑而斃，遇有紀(jì)綱杜知敏以馬授遇，遇得馬復(fù)戰(zhàn)，久之稍解。杜知敏已為所獲，遇謂彥超曰：“知敏蒼黃之中，以馬授我，義也，安可使陷于賊中！”遂與彥超躍馬取知敏而還，敵騎壯之。俄而生軍復(fù)合，遇不能解。時(shí)審琦已至安陽河，謂首將張從恩曰：“皇甫遇等未至，必為敵騎所圍，若不急救，則成擒矣�！睆亩髟唬骸皵成跏ⅲ瑹o以枝梧，將軍獨(dú)往何益？”審琦曰：“成敗命也。設(shè)若不濟(jì)，則與之俱死。假令失此二將，將何面目以見天子！”遂率鐵騎北渡赴之。契丹見塵起，謂救軍并至，乃引去。遇與彥超中數(shù)創(chuàng)得還，時(shí)諸軍嘆曰：“此三人皆猛將也！”遇累官至檢校太師、同中書門下平章事。四年，契丹復(fù)至，從杜重威營滹水，重威送款于契丹，遇不預(yù)其議，及降，心不平之。時(shí)契丹欲遣遇先入汴，遇辭之，因私謂人曰：“我身荷國恩，位兼將相，既不能死于軍陣，何顏以見舊主！更受命圖之，所不忍也�！泵魅�，行至趙郡，泊其縣舍，顧從者曰：“我已信宿不食，疾甚矣，主辱臣死，無復(fù)南行�！币蚪^吭而殞，遠(yuǎn)近聞而義之。漢高祖登極，詔贈(zèng)中書令。

周廣順三年正月，遇妻宋國夫人霍氏上言，請度為尼，周太祖許之，仍賜紫衣，號貞范大師，法名惠圓，又賜夏臘十。