李胤的祖父李敏，在東漢末年曾任河內太守。李敏辭官回鄉(xiāng)后，遼東太守公孫度試圖強行起用他，李敏于是乘船出海，從此不知所蹤。李胤的父親李信為了尋找李敏而廢寢忘食，在多方努力仍以失敗告終，李信想要為李敏服喪，卻又懷疑李敏還沒死，后來因為與李敏同年的故人去世，于是李信開始服喪。

而與李信交好的燕國人徐邈勸他娶妻，李信娶妻于是生李胤，從此后又回到之前的狀態(tài)，幾年后在憂傷中去世。李胤當時年齡還小，母親又改嫁牽招，成年以后，他節(jié)食悲傷，也說自己在服喪。又因祖父生死不明，就設木制的牌位供奉，李胤也以孝順聞名。他外表不加修飾，看起來弱不禁風，但卻知識淵博，寬宏大量，言而有信。

李胤最初擔任郡國的上計掾，被州里征用為從事、治中，又被舉為孝廉，后參鎮(zhèn)北將軍的軍事。升任樂平國侯相，他為政崇尚清明簡約。后來入朝任尚書郎，改任中護軍司馬、吏部郎，他在選拔官吏時公正廉潔。又賜爵關中侯，出任安豐太守，被司馬昭請為大將軍從事中郎。再轉任為御史中丞，任內秉公執(zhí)法，百官都俱怕他。

景元四年（263年），曹魏伐蜀，李胤出任西中郎將、都督關中諸軍事。

咸熙元年（264年），擔任河南尹，封爵廣陸伯。

泰始（265年—274年）初年，李胤任尚書，進爵為廣陸侯。李胤上奏認為：“古時候三公坐而論道，在內參六官之事，在外與六卿之教，處在三公的地位，兼聽斷案，考核疑難典章，和群臣商量。陛下圣明，日理萬機，多發(fā)詔令，遵循古法，就算是唐、虞的訪求，周文王的嚴謹，也趕不上啊。從今以后，國家有大事，陛下可以親自召見諸公，詢問采納正確的話。遇到疑難，可擴大到一省，讓侍中、尚書各抒己見。如果生病沒來的，可臨時派近臣問詢。”武帝下詔贊同他的意見。

李胤后來升任吏部尚書、尚書仆射，不久改任太子少傅，武帝因他高風亮節(jié)而讓他兼領司隸校尉。李胤認為自己不適合兼任監(jiān)察官，多次請求辭職。武帝則認為任這二職的人都必須要忠誠賢明，所以每次都不同意。

羊祜被任命為車騎將軍時，推辭官職給李胤和李憙、魯芝。

咸寧（275年－280年）初年，太子司馬衷在東宮居住，武帝認為司隸校尉事務繁重，而太子少傅又要早晚輔導太子，李胤向來身體羸弱，不應長期勞累，于是任其為侍中，加位特進。不久，改任尚書令，侍中、特進如舊。李胤雖然歷任內外的官職，但家中卻很貧窮儉樸，兒子有病都沒錢買藥。武帝聽說后，賜他錢十萬。

咸寧四年（278年），武帝下詔以李胤為司徒。李胤在任五年，清靜持重，非常稱職。

太康元年（280年），李胤認為吳國剛平定，眾臣多有功勞，應該多多提拔，于是上書請求遜位讓賢。武帝不聽，派侍中宣旨，拒絕他的上書，好言詔令敦促。李胤不得已，才出來處理政務。

太康三年（282年），李胤去世，武帝下詔派御史持節(jié)監(jiān)護喪事致祭，賜謚號成。太子司馬衷命太子舍人王贊為李胤作誄文紀念，誄文的文采和義理都很優(yōu)美。

武帝后來思念李胤清貧的節(jié)行，于是下詔說：“已故的司徒李胤、太常彭灌，都躬行忠誠之道、清廉簡樸，去世之后，家中沒有多余的財產，現(xiàn)在賜李胤家錢二百萬、谷一千斛，彭灌家賜李胤家的一半�！�

羊祜：據(jù)今光祿大夫李憙執(zhí)節(jié)高亮，在公正色；光祿大夫魯芝潔身寡欲，和而不同；光祿大夫李胤清亮簡素，立身在朝，皆服事華發(fā)，以禮終始。雖歷位外內之寵，不異寒賤之家。

山濤：河南尹京輦重職、前代皆用名人。圣代已來，有李胤、杜預、王恂、雋不疑，復今減此者也。

荀勖：尚書令李胤，忠亮高潔，堪處臺輔。

司馬炎：①胤忠允高亮，有匪躬之節(jié)。②故司徒李胤，太常彭灌，并履忠清儉。

房玄齡：①晉氏中朝，承累世之資，建兼并之業(yè)，衣冠斯盛，英彥如林。此數(shù)公者，或以雅望處臺槐，或以高名居保傅，自非一時之秀，亦曷能至于斯。惜其參緘于論道之辰，獨善于兼濟之日，良圖鯁議，無足多談。然退已進賢，林叔弘推讓之美；自家刑國，宣伯協(xié)恭孝之規(guī)。子若之儒素為基，偉容之苦節(jié)流譽，慶垂來葉，不亦宜哉！石鑒以公亮升，溫羨以明寤顯，屬于危亂，不隕其名。歲寒見松柏之后凋，斯人之謂矣。②讓矣密陵，孝哉廣陸。欽既博雅，表亦貞肅。鑒績克宣，溫聲載穆。同鏘玉振，爭芬蘭郁。

王勃：廉平譽號，李宣伯之當官；雅操繩時，山巨源之稱職。

《全晉文》收錄有《奏請延訪三公》、《王毖子昌前母服議》。

李敏，東漢時河內太守。離職后返鄉(xiāng)，因不愿仕于公孫度，便浮海遠行，不知所蹤。

李信，尋父無果后，始終保持服喪時的狀態(tài)，后經好友徐邈勸說娶妻。

牽嘉，同母異父弟，為李胤母改嫁牽招后所生。

李胤有三子：

李固，字萬基。任散騎侍郎，先于李胤去世。李順，字真長（一說曼長），官至太仆。李修，任黃門侍郎、太弟中庶子。

李氏，名不詳，被晉武帝司馬炎選入宮中為三夫人、九嬪。

李志，字彥道。歷任散騎侍郎、建威將軍、陽平太守。

馮蓀，字惠卿，官至侍中。

邢喬，字曾伯，官至司隸校尉。

《晉書·卷四十四·列傳第十四》

《資治通鑒》也有記載。