李胤的祖父李敏，在東漢末年曾任河內(nèi)太守。李敏辭官回鄉(xiāng)后，遼東太守公孫度試圖強(qiáng)行起用他，李敏于是乘船出海，從此不知所蹤。李胤的父親李信為了尋找李敏而廢寢忘食，在多方努力仍以失敗告終，李信想要為李敏服喪，卻又懷疑李敏還沒(méi)死，后來(lái)因?yàn)榕c李敏同年的故人去世，于是李信開始服喪。

而與李信交好的燕國(guó)人徐邈勸他娶妻，李信娶妻于是生李胤，從此后又回到之前的狀態(tài)，幾年后在憂傷中去世。李胤當(dāng)時(shí)年齡還小，母親又改嫁牽招，成年以后，他節(jié)食悲傷，也說(shuō)自己在服喪。又因祖父生死不明，就設(shè)木制的牌位供奉，李胤也以孝順聞名。他外表不加修飾，看起來(lái)弱不禁風(fēng)，但卻知識(shí)淵博，寬宏大量，言而有信。

李胤最初擔(dān)任郡國(guó)的上計(jì)掾，被州里征用為從事、治中，又被舉為孝廉，后參鎮(zhèn)北將軍的軍事。升任樂(lè)平國(guó)侯相，他為政崇尚清明簡(jiǎn)約。后來(lái)入朝任尚書郎，改任中護(hù)軍司馬、吏部郎，他在選拔官吏時(shí)公正廉潔。又賜爵關(guān)中侯，出任安豐太守，被司馬昭請(qǐng)為大將軍從事中郎。再轉(zhuǎn)任為御史中丞，任內(nèi)秉公執(zhí)法，百官都俱怕他。

景元四年（263年），曹魏伐蜀，李胤出任西中郎將、都督關(guān)中諸軍事。

咸熙元年（264年），擔(dān)任河南尹，封爵廣陸伯。

泰始（265年—274年）初年，李胤任尚書，進(jìn)爵為廣陸侯。李胤上奏認(rèn)為：“古時(shí)候三公坐而論道，在內(nèi)參六官之事，在外與六卿之教，處在三公的地位，兼聽斷案，考核疑難典章，和群臣商量。陛下圣明，日理萬(wàn)機(jī)，多發(fā)詔令，遵循古法，就算是唐、虞的訪求，周文王的嚴(yán)謹(jǐn)，也趕不上啊。從今以后，國(guó)家有大事，陛下可以親自召見諸公，詢問(wèn)采納正確的話。遇到疑難，可擴(kuò)大到一省，讓侍中、尚書各抒己見。如果生病沒(méi)來(lái)的，可臨時(shí)派近臣問(wèn)詢�！蔽涞巯略t贊同他的意見。

李胤后來(lái)升任吏部尚書、尚書仆射，不久改任太子少傅，武帝因他高風(fēng)亮節(jié)而讓他兼領(lǐng)司隸校尉。李胤認(rèn)為自己不適合兼任監(jiān)察官，多次請(qǐng)求辭職。武帝則認(rèn)為任這二職的人都必須要忠誠(chéng)賢明，所以每次都不同意。

羊祜被任命為車騎將軍時(shí)，推辭官職給李胤和李憙、魯芝。

咸寧（275年－280年）初年，太子司馬衷在東宮居住，武帝認(rèn)為司隸校尉事務(wù)繁重，而太子少傅又要早晚輔導(dǎo)太子，李胤向來(lái)身體羸弱，不應(yīng)長(zhǎng)期勞累，于是任其為侍中，加位特進(jìn)。不久，改任尚書令，侍中、特進(jìn)如舊。李胤雖然歷任內(nèi)外的官職，但家中卻很貧窮儉樸，兒子有病都沒(méi)錢買藥。武帝聽說(shuō)后，賜他錢十萬(wàn)。

咸寧四年（278年），武帝下詔以李胤為司徒。李胤在任五年，清靜持重，非常稱職。

太康元年（280年），李胤認(rèn)為吳國(guó)剛平定，眾臣多有功勞，應(yīng)該多多提拔，于是上書請(qǐng)求遜位讓賢。武帝不聽，派侍中宣旨，拒絕他的上書，好言詔令敦促。李胤不得已，才出來(lái)處理政務(wù)。

太康三年（282年），李胤去世，武帝下詔派御史持節(jié)監(jiān)護(hù)喪事致祭，賜謚號(hào)成。太子司馬衷命太子舍人王贊為李胤作誄文紀(jì)念，誄文的文采和義理都很優(yōu)美。

武帝后來(lái)思念李胤清貧的節(jié)行，于是下詔說(shuō)：“已故的司徒李胤、太常彭灌，都躬行忠誠(chéng)之道、清廉簡(jiǎn)樸，去世之后，家中沒(méi)有多余的財(cái)產(chǎn)，現(xiàn)在賜李胤家錢二百萬(wàn)、谷一千斛，彭灌家賜李胤家的一半�！�

羊祜：據(jù)今光祿大夫李憙執(zhí)節(jié)高亮，在公正色；光祿大夫魯芝潔身寡欲，和而不同；光祿大夫李胤清亮簡(jiǎn)素，立身在朝，皆服事華發(fā)，以禮終始。雖歷位外內(nèi)之寵，不異寒賤之家。

山濤：河南尹京輦重職、前代皆用名人。圣代已來(lái)，有李胤、杜預(yù)、王恂、雋不疑，復(fù)今減此者也。

荀勖：尚書令李胤，忠亮高潔，堪處臺(tái)輔。

司馬炎：①胤忠允高亮，有匪躬之節(jié)。②故司徒李胤，太常彭灌，并履忠清儉。

房玄齡：①晉氏中朝，承累世之資，建兼并之業(yè)，衣冠斯盛，英彥如林。此數(shù)公者，或以雅望處臺(tái)槐，或以高名居保傅，自非一時(shí)之秀，亦曷能至于斯。惜其參緘于論道之辰，獨(dú)善于兼濟(jì)之日，良圖鯁議，無(wú)足多談。然退已進(jìn)賢，林叔弘推讓之美；自家刑國(guó)，宣伯協(xié)恭孝之規(guī)。子若之儒素為基，偉容之苦節(jié)流譽(yù)，慶垂來(lái)葉，不亦宜哉！石鑒以公亮升，溫羨以明寤顯，屬于危亂，不隕其名。歲寒見松柏之后凋，斯人之謂矣。②讓矣密陵，孝哉廣陸。欽既博雅，表亦貞肅。鑒績(jī)克宣，溫聲載穆。同鏘玉振，爭(zhēng)芬蘭郁。

王勃：廉平譽(yù)號(hào)，李宣伯之當(dāng)官；雅操繩時(shí)，山巨源之稱職。

《全晉文》收錄有《奏請(qǐng)延訪三公》、《王毖子昌前母服議》。

李敏，東漢時(shí)河內(nèi)太守。離職后返鄉(xiāng)，因不愿仕于公孫度，便浮海遠(yuǎn)行，不知所蹤。

李信，尋父無(wú)果后，始終保持服喪時(shí)的狀態(tài)，后經(jīng)好友徐邈勸說(shuō)娶妻。

牽嘉，同母異父弟，為李胤母改嫁牽招后所生。

李胤有三子：

李固，字萬(wàn)基。任散騎侍郎，先于李胤去世。李順，字真長(zhǎng)（一說(shuō)曼長(zhǎng)），官至太仆。李修，任黃門侍郎、太弟中庶子。

李氏，名不詳，被晉武帝司馬炎選入宮中為三夫人、九嬪。

李志，字彥道。歷任散騎侍郎、建威將軍、陽(yáng)平太守。

馮蓀，字惠卿，官至侍中。

邢喬，字曾伯，官至司隸校尉。

《晉書·卷四十四·列傳第十四》

《資治通鑒》也有記載。