1858年2月6日（安政4年12月23日）出生于長門國所在的長州藩（今山口縣）的士族家庭，本姓勝津，是長州藩藩士勝津兼亮與山縣壽子（山縣有朋的姐姐）的次子，養(yǎng)父山縣有朋元帥是明治維新的元勛、明治九元老之一。因為舅舅山縣有朋還沒有兒子（山縣有朋有子女7人，但除女兒松子外，其余均夭折），所以，作為外甥的伊三郎被過繼給山縣家當養(yǎng)嗣子。

1871年（明治4年）12月，日本政府派出巖倉使節(jié)團赴歐美國家訪問、考察，13歲的山縣伊三郎隨團出國，前往德意志帝國留學。歸國后，1878年（明治11年）12月9日任外務(wù)省見習翻譯，1880年（明治13年）3月9日任外務(wù)省三等書記生，派駐柏林公使館任事。1881年（明治14年）4月12日歸國，同年12月5日任外務(wù)省書記生，駐柏林公使館任事。1882年（明治15年）12月20日奉召回國。1883年（明治16年）5月16日依愿免本官，同年11月6日任太政官權(quán)少書記官。1884年（明治17年）3月22日兼任制度取調(diào)局御用掛。1885年（明治18年）8月7日奉派赴京都府、大阪府、愛知縣、兵庫縣、愛媛縣、高知縣、廣島縣、山口縣、長崎縣、熊本縣、鹿兒島縣等諸府縣出差。

1885年（明治18年）12月23日任內(nèi)閣法制局參事官，同年12月24日充法制部勤務(wù)。1886年（明治19年）4月10日敘奏任官四等，下賜上級俸。1887年（明治20年）3月18日任愛知縣書記官，敘奏任官四等，下賜上級俸。1887年（明治20年）4月任法制局第一部長、官報報告主任。1889年（明治22年）6月25日升敘奏任官三等、賜下級俸。1890年（明治23年）6月13日任縣制郡制實施方法取調(diào)委員長。同年10月11日任內(nèi)務(wù)省書記官，敘奏任官三等、賜下級俸。同年10月20日命在總務(wù)局文書課勤務(wù)。1891年（明治24年）3月30日兼任總務(wù)局記錄課長。同年5月11日任郡區(qū)長試驗委員。同年8月16日兼任往復課長和報告課長，并充文書課勤務(wù)。同年8月18日任統(tǒng)計及官報報告主任。同年9月21日赴群馬縣出差。

1892年（明治25年）5月7日奉命赴宮城縣、福島縣、巖手縣、青森縣、山形縣、秋田縣出差。同年8月6日任神職試驗委員。同年10月5日奉命巡視宮城縣、福島縣、巖手縣、青森縣、山形縣、秋田縣監(jiān)獄。同年12月27日任東京府書記官，敘高等官五等。1893年（明治26年）1月6日免內(nèi)務(wù)省大臣官房往復課長、報告課長、統(tǒng)計及官報報告主任等職，改任東京府文官普通試驗委員長、官報報告主任、小學教教員檢定委員長、神職尋常試驗委員長、世界博覽會出品事務(wù)委員長。同年1月9日任東京市區(qū)改正委員會委員。同年2月3日免本官，專任東京府書記官。

1895年（明治28年）9月任社司社掌試驗委員長，同年10月12日升敘高等官四等。1896年（明治29年）8月12日任德島縣知事，敘高等官二等。1899年（明治32年）2月21日任三重縣知事，敘高等官二等。1899年（明治32年）5月8日任遞信省管船局長，敘高等官二等。同年5月10日兼任高等海員審判所所長。同年5月13日任日本郵船株式會社·大阪商船株式會社·東京海上保險株式會社會計下檢查官和日本郵船株式會社會計監(jiān)察委員。同年5月15日任東京市區(qū)改正委員。同年5月19日任林野整備審查會委員。同年6月3日任中央衛(wèi)生會臨時委員。同年7月19日至大阪、長崎各海事局區(qū)內(nèi)出差。同年9月22日任萬國船舶信號書調(diào)查委員長。同年11月22日任遞信省所管事務(wù)政府委員。

1900年（明治33年）3月31日免萬國船舶信號書調(diào)查委員長，同年5月9日奉派至韓國和俄國西伯利亞沿岸港口以及東京、大阪、函館各海事局區(qū)內(nèi)出差。同年5月16日任東洋汽船株式會社會計下檢查官。同年6月27日任港灣調(diào)查會委員。同年7月6日歸朝。同年10月12日奉派至大阪海事局區(qū)內(nèi)出差。同年12月10日任瀨戶內(nèi)海航海規(guī)程調(diào)查委員長。同年12月24日任遞信省所管事務(wù)政府委員。1901年（明治34年）7月5日任內(nèi)務(wù)省地方局長，敘高等官二等。同年12月9日任內(nèi)務(wù)省所管事務(wù)政府委員。1902年（明治35年）1月21日任東京市區(qū)改正委員。

1902年（明治35年）2月8日任內(nèi)務(wù)省總務(wù)長官，敘高等官一等。同年2月12日任內(nèi)務(wù)省文官普通試驗委員長、神職試驗委員長。同年2月14日任港灣調(diào)查會會長、東京市區(qū)改正委員長、鐵道會議議員。同年2月20日任神職高等試驗委員長、神職尋常試驗委員長。同年2月28日任第五屆國內(nèi)勸業(yè)博覽會評議員。同年3月14日任文官高等懲戒委員（明治35年4月12日期滿）。同年3月17日任政務(wù)調(diào)查委員。同年4月14日任文官高等懲戒委員（明治38年4月13日期滿）。同年12月8日任內(nèi)務(wù)省所管事務(wù)政府委員。1903年（明治36年）5月11日任內(nèi)務(wù)省所管事務(wù)政府委員。1903年（明治36年）12月5日任內(nèi)務(wù)次官，敘高等官一等。同年12月7日任內(nèi)務(wù)省所管事務(wù)政府委員。1905年（明治38年）4月26日任文官高等懲戒委員，同年12月27日任內(nèi)務(wù)省所管事務(wù)政府委員。

1906年（明治39年）1月7日——1908年（明治41年）1月14日任第一次西園寺公望內(nèi)閣遞信大臣。1906年（明治39年）1月22日免東京市區(qū)改正委員長，同年1月31日依愿免文官高等懲戒委員。在任遞信相期間，積極貫徹其父山縣有朋的意志。1908年（明治41年）1月13日，西園寺內(nèi)閣在編制1908年度的預算時，遞信大臣山縣伊三郎與大藏大臣阪谷芳郎就鐵道建設(shè)預算問題發(fā)生意見沖突，兩人在當天共同向明治天皇提出辭呈，此舉實際上成了西園寺內(nèi)閣崩潰的催化劑。1月14日，西園寺內(nèi)閣也以“內(nèi)閣不統(tǒng)一”為由遞交了辭呈。但天皇依據(jù)元老首座伊藤博文的意見，批準遞相和藏相辭職，但保留西園寺內(nèi)閣，進行內(nèi)閣改組。同年5月，立憲政友會在眾議院換屆大選中取得絕對多數(shù)，由于擔心政友會在內(nèi)閣占據(jù)絕對優(yōu)勢，因此山縣閥持續(xù)展開倒閣運動，最終西園寺內(nèi)閣在7月4日總辭職。1908年（明治41年）7月7日，山縣伊三郎任帝國議會貴族院敕選議員。

1910年（明治43年）5月30日任韓國統(tǒng)監(jiān)府副統(tǒng)監(jiān)，與統(tǒng)監(jiān)寺內(nèi)正毅協(xié)力加速推進“日韓合并”。1910年（明治43年）10月1日——1919年（大正8年）8月12日任朝鮮總督府政務(wù)總監(jiān)兼中樞院議長，敘親任官。政務(wù)總監(jiān)是在朝鮮總督之下設(shè)置的親任官，在朝鮮總督府組織體系中居第二位，統(tǒng)括除軍事權(quán)以外的行政、立法、司法之一切實務(wù)大權(quán)；朝鮮總督府中樞院是仿樞密院設(shè)置的咨詢顧問機構(gòu)，以日裔政務(wù)總監(jiān)兼任議長，朝鮮人任副議長和顧問。1911年（明治44年）2月1日兼任李王職職員懲戒委員。1912年（明治45年）4月1日——1913年（大正2年）7月14日兼任臨時土地調(diào)查局長事務(wù)取扱，1913年（大正2年）7月14日兼任朝鮮總督府高等土地調(diào)查委員會委員長。1916年（大正5年）12月25日任內(nèi)務(wù)省所管事務(wù)政府委員。1917年（大正6年）5月3日受命赴滿洲出差，同年12月25日任政府委員。1918年（大正7年）6月20日任株式會社朝鮮殖產(chǎn)銀行設(shè)立委員長，同年12月25日任政府委員。1919年（大正8年）1月25日任大勛位李太王葬儀掛長，辦理朝鮮高宗李熙的國葬。

山縣伊三郎在朝鮮任職近10年，開展土地調(diào)查、銀行金融、關(guān)稅制度的整備，為日本強化在朝鮮半島的殖民統(tǒng)治和“開發(fā)”（實為經(jīng)濟控制和資源掠奪）竭盡心力。1919年（大正8年）3月1日，朝鮮半島爆發(fā)反抗日本殖民統(tǒng)治，爭取民族解放的“三一運動”，在日本殖民當局的殘酷鎮(zhèn)壓和野蠻屠殺下，三一運動以失敗告終。日本的原敬首相在三·一獨立運動后擬改用文官擔任朝鮮總督，取代聲名狼藉的軍人，此意在廢止殖民地武官專任制，以“文化政治”取代“武斷政治”。先后輔佐寺內(nèi)正毅、長谷川好道兩代朝鮮總督（兩人均為陸軍元帥）的山縣伊三郎一度被認為是文官總督的最佳人選。1919年（大正8年）8月12日，山縣伊三郎與長谷川好道一同解任，但接任總督的是預備役海軍大將齋藤實，立憲政友會的水野鏈太郎接任政務(wù)總監(jiān)。

1920年（大正9年）5月24日——1922年（大正11年）9月8日任關(guān)東長官（日本在中國東北的殖民地關(guān)東州的行政首腦，駐節(jié)旅順）。同年7月1日、12月21日兩次任政府委員。 1922年（大正11年）2月1日，養(yǎng)父山縣有朋去世，同年2月28日，山縣伊三郎繼任山縣公爵家家督并世襲為公爵。1922年（大正11年）2月27日免去貴族院敕選議員，28日襲爵后自動成為貴族院華族議員（全體公爵、侯爵是貴族院的當然議員，屬世襲議席）。1922年（大正11年）11月4日——1927年（昭和2年）9月24日任樞密顧問官。1924年（大正13年）12月29日作為答禮使出使印度支那。1926年（大正15年）3月16日任宮內(nèi)省宗秩寮審議官。同年6月15日任維新史料編纂會委員。1927年（昭和2年）9月24日，山縣伊三郎公爵病逝，享年69歲。

1883年（明治16年）12月25日-正七位；

1884年（明治17年）10月3日-從五位；

1890年（明治23年）3月1日-大日本帝國憲法發(fā)布記念章；

1891年（明治24年）6月16日-正五位；

1895年（明治28年）6月21日-勛六等瑞寶章；

1896年（明治29年）6月20日-從四位；

1897年（明治30年）6月26日-勛五等瑞寶章；

1898年（明治31年）12月28日-勛四等瑞寶章；

1901年（明治34年）6月21日-正四位；

1902年（明治35年）12月27日-勛三等瑞寶章；

1906年（明治39年）3月30日-從三位；

1906年（明治39年）4月1日-勛二等旭日重光章?明治三十七八年從軍記章；

1909年（明治42年）7月21日-勛一等旭日大綬章；

1912年（大正元年）8月1日-韓國并合記念章；

1912年（大正2年）9月10日-正三位；

1915年（大正4年）11月7日-金杯一組；

1915年（大正4年）11月10日-大禮記念章（大正）；

1918年（大正7年）11月4日-金杯一組；

1920年（大正9年）11月15日-金杯一組；

1920年（大正9年）12月23日-金杯一組；

1921年（大正10年）7月11日-從二位；

1922年（大正11年）2月28日-公爵襲爵；

1926年（大正15年）1月15日-御紋付銀杯；

1927年（昭和2年）9月24日-正二位?旭日桐花大綬章?帝都復興記念章。

1885年（明治18年）2月10日-德意志帝國梅克倫堡-什未林大公國李特爾·克羅伊茨·格里芬勛章；

1908年（明治41年）2月24日-大韓帝國李花大勛章；

1910年（明治43年）8月28日-大韓帝國瑞星大勛章；

1925年（大正14年）4月13日-法蘭西第三共和國法國榮譽軍團勛章大十字騎士勛位。

山縣伊三郎的妻子是加藤弘之男爵之女高子。長子山縣有道繼承山縣公爵家，曾出仕宮中，任侍從和式部官，襲公爵。三子山縣三郎是內(nèi)務(wù)·朝鮮總督府·臺灣總督府系統(tǒng)的官僚，官至栃木縣知事。養(yǎng)子山縣有光是船越光之丞男爵的三子，母親是山縣有朋之女松子，過繼為山縣伊三郎的養(yǎng)子，蔭祖父之功勛，1922年（大正11年）2月封授男爵，建立山縣公爵家的分家山縣男爵家，官至陸軍大佐、第21飛行團長。