泰始初，為殿中將軍。四方反叛，仆射 王彧舉山圖將領，呼與語，甚悅，使領百舸為前驅。與軍主佼長生等攻破賊湖白、赭圻二城。除員外郎，加振武將軍。豫平濃湖，追賊至西陽還，明帝賞之，賜苑西宅一區(qū)。鎮(zhèn)軍將軍 張永征 薛安都于彭城，山圖領二千人迎運至武原，為虜騎所追，合戰(zhàn)，多所傷殺。虜圍轉急，山圖據(jù)城自固，然后更結陣死戰(zhàn)。突圍出，虜披靡不能禁。眾稱其勇，呼為“武原將”。及永軍大敗，山圖收散卒得千余人，守下邳城。還，除給事中、冗從仆射、直閣將軍。

山圖好酒多失，明帝數(shù)加怒誚，后遂自改。出為錢唐新城戍。是時豫州淮西地新沒虜，更于歷陽立鎮(zhèn)，五年，以山圖為龍驤將軍、歷陽令，領兵守城。初，臨海亡命田流自號“東海王”，逃竄會稽鄞縣邊海山谷中，立屯營，分布要害，官軍不能討。明帝遣直后聞人襲說降之，授流龍驤將軍，流受命，將黨與出，行達海鹽，放兵大掠而反。是冬，殺鄞令耿猷，東境大震。六年，敕山圖將兵東屯浹口，廣設購募。流為其副暨挐所殺，別帥杜連、梅洛生各擁眾自守。至明年，山圖分兵掩討，皆平之。

豫章賊張鳳，聚眾康樂山，斷江劫抄。臺軍主李雙、蔡保數(shù)遣軍攻之，連年不禽。至是軍主毛寄生與鳳戰(zhàn)于豫章江，大敗。明帝復遣山圖討之。山圖至，先羸兵偃眾，遣幢主龐嗣厚遺鳳，要出會聚，聽以兵自衛(wèi)，鳳信之。行至望蔡，山圖設伏兵于水側，擊斬鳳首，眾百余人束首降。除寧朔將軍、漣口戍主。山圖遏漣水筑西城，斷虜騎路，并以溉田。元徽三年，遷步兵校尉，加建武將軍。轉督高平下邳淮陽淮西四郡諸軍事、寧朔將軍、淮南太守。盜發(fā)桓溫冢，大獲寶物。客竊取以遺山圖，山圖不受，簿以還官。遷左中郎將。

太祖輔政，山圖密啟曰：“ 沈攸之久有異圖，公宜深為之備�！碧�祖笑而納之。武陵王贊為郢州，太祖令山圖領兵衛(wèi)送。世祖與晉熙王燮自郢下，以山圖為后防。攸之事起，世祖為西討都督，啟山圖為軍副。世祖留據(jù)盆城，眾議以盆城城小難固，不如還都。山圖曰：“今據(jù)中流，為四方勢援，大眾致力，川岳可為。城隍小事，不足難也。”世祖使城局參軍劉皆、陳淵委山圖以處分事。山圖斷取行旅船板，以造樓櫓，立水柵，旬日皆辦。世祖甚嘉之。授前軍將軍，加寧朔將軍，進號輔國將軍。攸之攻郢城，世祖令山圖量其形勢。山圖曰：“攸之見與鄰鄉(xiāng)，亟同征伐，悉其為人。性度險刻，無以結固士心。如頓兵堅城之下，適所以為離散之漸耳�！必�之既敗，平西將軍黃回乘輕舸從白服百余人在軍前下緣流叫，盆城中恐，須臾知是回凱歸乃安。世祖謂山圖曰：“周公前言，可謂明于見事矣�！边�都，太祖遣山圖領部曲鎮(zhèn)京城，鎮(zhèn)戍諸軍，悉受節(jié)度。遷游擊將軍，輔國如故。

建元元年，封廣晉縣男，邑三百戶。出為假節(jié)、督兗青冀三州徐州東海朐山軍事、寧朔將軍、兗州刺史，百姓附之。二年進號輔國將軍。其秋，虜動，上策虜必不出淮陰，乃敕山圖曰：“知卿綏邊撫戎，甚有次第，應變算略，悉以相委。恐列丑未必能送死，卿丈夫無可藉手耳。”虜果寇朐山，為玄元度、盧紹之所破。虜于淮陽。是時淮北四州起義，上使山圖自淮入清，倍道應赴。敕山圖曰：“卿當盡相帥馭理，每存全重，天下事，唯同心力，山岳可摧。然用兵當使背后無憂慮；若后冷然無橫來處，閉目痛打，無不摧碎。吾政應鑄金，待卿成勛耳。若不藉此平四州，非丈夫也。努力自運，勿令他人得上功�！睍�義眾已為虜所沒，山圖拔三百家還淮陰。表移東�？ぶ螡i口，又于石鱉立陽平郡，皆見納。

世祖踐阼，遷竟陵王鎮(zhèn)北司馬，帶南平昌太守，將軍如故。以盆城之舊，出入殿省，甚見親信。義鄉(xiāng)縣長風廟神姓鄧，先經為縣令，死遂發(fā)靈。山圖啟乞加神位輔國將軍。上答曰：“足狗肉便了事，何用階級為？”轉黃門郎，領羽林四廂直衛(wèi)。山圖于新林立墅舍，晨夜往還。上謂之曰：“卿罷萬人都督，而輕行郊外。自今往墅，可以仗身自隨，以備不虞�！奔凹�，上手敕參問，遣醫(yī)給藥。永明元年，卒，年六十四。詔賜朝服一具，衣一襲。