魯芝家族世代有美名，是西州的大戶人家。東漢末年，他的父親被軍閥郭汜所害。魯芝從小流離失所。十七歲時遷居雍州，致力于文化思想研究。被郡守舉薦為上計吏，后被州郡征召為別駕。

魏明帝時期，郭淮擔(dān)任雍州刺史。郭淮非常敬重魯芝，將他舉薦為孝廉，并提升為郎中。適逢蜀漢丞相諸葛亮北伐曹魏，郭淮又聘用魯芝為別駕。此后，郭淮又極力向公府舉薦魯芝，他被任命為大司馬曹真的屬下，后調(diào)任為臨淄侯（曹植）文學(xué)。鄭袤曾向司空王朗推薦魯芝，王朗也很器重魯芝。其后，魯芝擔(dān)任騎都尉、參軍事、代理安南太守，再后來又升任為尚書郎。曹真親自督軍關(guān)右時，魯芝又參與大司馬府的軍機大事。曹真去世后，司馬懿接替曹真任職，任命魯芝參與驃騎軍事，后調(diào)任天水太守。天水郡和蜀漢相鄰，常被蜀漢軍侵犯掠奪，人口不斷損失，盜賊四起。魯芝竭力鎮(zhèn)守防衛(wèi)，并建立集市貿(mào)易。數(shù)年時間，被掠奪的土地都被收復(fù)。又調(diào)任他為廣平太守。天水百姓包括少數(shù)民族都非常仰慕他的美德，大家親自到京城上書，請求留下魯芝繼續(xù)任天水太守。明帝允準，并且下詔嘉獎，以西漢良吏黃霸的事跡來勉勵魯芝，加封他為討寇將軍。

齊王曹芳即位后，由大將軍曹爽輔政。曹爽任用魯芝為大將軍司馬。他多有正直的言論和深遠的謀略，然而曹爽卻不采納。等到“高平陵之變”發(fā)生后，魯芝又率領(lǐng)手下竭力保護曹爽，并勸曹爽說：“將軍您處在伊周的高位，一旦獲罪被罷免，即使想拉一條狗都不可以了，更不要說統(tǒng)領(lǐng)人。如果挾天子保住許昌，倚仗帝王的威儀，號令天下，誰敢不聽從您呢！如果放棄這個決策而束手待斃，那不是想去東市被殺頭，難道不令人痛心嗎？”曹爽懦弱又被人迷惑，因而沒有聽取魯芝的意見，于是束手就擒。魯芝也受到牽連而被下獄，論理當死，但他始終凜然不呵，始終不改堅貞的氣節(jié)。司馬懿很欣賞他，于是將魯芝赦免。

魯芝獲赦不久后，就被起用為使持節(jié)、護匈奴中郎將、振威將軍、并州刺史。后因治理有方，政績突出，升任為大鴻臚。

高貴鄉(xiāng)公曹髦即位后，賜封魯芝為關(guān)內(nèi)侯，食邑二百戶。因他為官廉潔、為政公平，朝廷又增加他的食邑二百戶，改任揚武將軍、荊州刺史。征東大將軍諸葛誕在壽春起兵，大將軍司馬昭奉曹髦及郭太后親征，并向天下征集兵馬。魯芝率荊州文武響應(yīng)，做征討大軍的先鋒。諸葛誕叛亂被平定以后，魯芝進爵武進亭侯，朝廷增其食邑九百戶。又調(diào)任大尚書，掌管刑獄審理。常道鄉(xiāng)公曹奐即位后，魯芝進爵斄城鄉(xiāng)侯，又獲增食邑八百戶。此后，出任監(jiān)青州諸軍、振武將軍、青州刺史，后調(diào)任平東將軍。五等爵制建立后，獲封陰平伯。

晉武帝司馬炎建立西晉后，調(diào)魯芝為鎮(zhèn)東將軍，進爵陰平侯。因為他為官清廉為臣正直，向來不置辦田宅，武帝特派軍士為他造了一座有五十間房屋的宅院。魯芝知道后，借口年邁力微，告老還鄉(xiāng)。他十多次向朝廷請求，最后被征召為光祿大夫，位列特進，御賜隨行吏卒及車馬。羊祜升任車騎將軍時，曾請求讓職于魯芝，他說：“光祿大夫魯芝，潔身寡欲，為人謙和而不茍同，年邁華發(fā)，卻始終在盡為臣之禮，孝命朝廷，尚且沒有受到這樣的待遇，我卻超越了他作這么高的位子，憑什么來化解天下人對我的怨恨呢！”武帝沒有聽從。魯芝便是如此受人敬重。泰始九年（273年），魯芝去世，時年八十四歲。武帝為他舉哀，贈送大量助喪物品及墓地百畝，賜謚號“貞”。

父親：名不詳，出身西州大族，漢末為軍閥郭汜所害。

羊祜：光祿大夫魯芝潔身寡欲，和而不同，服事華發(fā)，以禮終始，未蒙此選，臣更越之，何以塞天下之望！

房玄齡《晉書》：①魯芝等建旟剖竹，布政宣條，存樹威恩，沒留遺愛，咸見知明主，流譽當年。……世英盡節(jié)曹氏，犯門斬關(guān)，宣帝收雷霆之威，獎忠貞之烈，豈非既已在我，欲其罵人者歟！②猗歟良宰，嗣美前賢。威同御黠，靜若烹鮮。唯嘗吳水，但挹貪泉。人風(fēng)既偃，俗化斯遷。

《晉書·列傳第六十·良吏》