1858年2月6日（安政4年12月23日）出生于長(zhǎng)門國(guó)所在的長(zhǎng)州藩（今山口縣）的士族家庭，本姓勝津，是長(zhǎng)州藩藩士勝津兼亮與山縣壽子（山縣有朋的姐姐）的次子，養(yǎng)父山縣有朋元帥是明治維新的元?jiǎng)�、明治九元老之一。因�(yàn)榫司松娇h有朋還沒(méi)有兒子（山縣有朋有子女7人，但除女兒松子外，其余均夭折），所以，作為外甥的伊三郎被過(guò)繼給山縣家當(dāng)養(yǎng)嗣子。

1871年（明治4年）12月，日本政府派出巖倉(cāng)使節(jié)團(tuán)赴歐美國(guó)家訪問(wèn)、考察，13歲的山縣伊三郎隨團(tuán)出國(guó)，前往德意志帝國(guó)留學(xué)。歸國(guó)后，1878年（明治11年）12月9日任外務(wù)省見(jiàn)習(xí)翻譯，1880年（明治13年）3月9日任外務(wù)省三等書記生，派駐柏林公使館任事。1881年（明治14年）4月12日歸國(guó)，同年12月5日任外務(wù)省書記生，駐柏林公使館任事。1882年（明治15年）12月20日奉召回國(guó)。1883年（明治16年）5月16日依愿免本官，同年11月6日任太政官權(quán)少書記官。1884年（明治17年）3月22日兼任制度取調(diào)局御用掛。1885年（明治18年）8月7日奉派赴京都府、大阪府、愛(ài)知縣、兵庫(kù)縣、愛(ài)媛縣、高知縣、廣島縣、山口縣、長(zhǎng)崎縣、熊本縣、鹿兒島縣等諸府縣出差。

1885年（明治18年）12月23日任內(nèi)閣法制局參事官，同年12月24日充法制部勤務(wù)。1886年（明治19年）4月10日敘奏任官四等，下賜上級(jí)俸。1887年（明治20年）3月18日任愛(ài)知縣書記官，敘奏任官四等，下賜上級(jí)俸。1887年（明治20年）4月任法制局第一部長(zhǎng)、官報(bào)報(bào)告主任。1889年（明治22年）6月25日升敘奏任官三等、賜下級(jí)俸。1890年（明治23年）6月13日任縣制郡制實(shí)施方法取調(diào)委員長(zhǎng)。同年10月11日任內(nèi)務(wù)省書記官，敘奏任官三等、賜下級(jí)俸。同年10月20日命在總務(wù)局文書課勤務(wù)。1891年（明治24年）3月30日兼任總務(wù)局記錄課長(zhǎng)。同年5月11日任郡區(qū)長(zhǎng)試驗(yàn)委員。同年8月16日兼任往復(fù)課長(zhǎng)和報(bào)告課長(zhǎng)，并充文書課勤務(wù)。同年8月18日任統(tǒng)計(jì)及官報(bào)報(bào)告主任。同年9月21日赴群馬縣出差。

1892年（明治25年）5月7日奉命赴宮城縣、福島縣、巖手縣、青森縣、山形縣、秋田縣出差。同年8月6日任神職試驗(yàn)委員。同年10月5日奉命巡視宮城縣、福島縣、巖手縣、青森縣、山形縣、秋田縣監(jiān)獄。同年12月27日任東京府書記官，敘高等官五等。1893年（明治26年）1月6日免內(nèi)務(wù)省大臣官房往復(fù)課長(zhǎng)、報(bào)告課長(zhǎng)、統(tǒng)計(jì)及官報(bào)報(bào)告主任等職，改任東京府文官普通試驗(yàn)委員長(zhǎng)、官報(bào)報(bào)告主任、小學(xué)教教員檢定委員長(zhǎng)、神職尋常試驗(yàn)委員長(zhǎng)、世界博覽會(huì)出品事務(wù)委員長(zhǎng)。同年1月9日任東京市區(qū)改正委員會(huì)委員。同年2月3日免本官，專任東京府書記官。

1895年（明治28年）9月任社司社掌試驗(yàn)委員長(zhǎng)，同年10月12日升敘高等官四等。1896年（明治29年）8月12日任德島縣知事，敘高等官二等。1899年（明治32年）2月21日任三重縣知事，敘高等官二等。1899年（明治32年）5月8日任遞信省管船局長(zhǎng)，敘高等官二等。同年5月10日兼任高等海員審判所所長(zhǎng)。同年5月13日任日本郵船株式會(huì)社·大阪商船株式會(huì)社·東京海上保險(xiǎn)株式會(huì)社會(huì)計(jì)下檢查官和日本郵船株式會(huì)社會(huì)計(jì)監(jiān)察委員。同年5月15日任東京市區(qū)改正委員。同年5月19日任林野整備審查會(huì)委員。同年6月3日任中央衛(wèi)生會(huì)臨時(shí)委員。同年7月19日至大阪、長(zhǎng)崎各海事局區(qū)內(nèi)出差。同年9月22日任萬(wàn)國(guó)船舶信號(hào)書調(diào)查委員長(zhǎng)。同年11月22日任遞信省所管事務(wù)政府委員。

1900年（明治33年）3月31日免萬(wàn)國(guó)船舶信號(hào)書調(diào)查委員長(zhǎng)，同年5月9日奉派至韓國(guó)和俄國(guó)西伯利亞沿岸港口以及東京、大阪、函館各海事局區(qū)內(nèi)出差。同年5月16日任東洋汽船株式會(huì)社會(huì)計(jì)下檢查官。同年6月27日任港灣調(diào)查會(huì)委員。同年7月6日歸朝。同年10月12日奉派至大阪海事局區(qū)內(nèi)出差。同年12月10日任瀨戶內(nèi)海航海規(guī)程調(diào)查委員長(zhǎng)。同年12月24日任遞信省所管事務(wù)政府委員。1901年（明治34年）7月5日任內(nèi)務(wù)省地方局長(zhǎng)，敘高等官二等。同年12月9日任內(nèi)務(wù)省所管事務(wù)政府委員。1902年（明治35年）1月21日任東京市區(qū)改正委員。

1902年（明治35年）2月8日任內(nèi)務(wù)省總務(wù)長(zhǎng)官，敘高等官一等。同年2月12日任內(nèi)務(wù)省文官普通試驗(yàn)委員長(zhǎng)、神職試驗(yàn)委員長(zhǎng)。同年2月14日任港灣調(diào)查會(huì)會(huì)長(zhǎng)、東京市區(qū)改正委員長(zhǎng)、鐵道會(huì)議議員。同年2月20日任神職高等試驗(yàn)委員長(zhǎng)、神職尋常試驗(yàn)委員長(zhǎng)。同年2月28日任第五屆國(guó)內(nèi)勸業(yè)博覽會(huì)評(píng)議員。同年3月14日任文官高等懲戒委員（明治35年4月12日期滿）。同年3月17日任政務(wù)調(diào)查委員。同年4月14日任文官高等懲戒委員（明治38年4月13日期滿）。同年12月8日任內(nèi)務(wù)省所管事務(wù)政府委員。1903年（明治36年）5月11日任內(nèi)務(wù)省所管事務(wù)政府委員。1903年（明治36年）12月5日任內(nèi)務(wù)次官，敘高等官一等。同年12月7日任內(nèi)務(wù)省所管事務(wù)政府委員。1905年（明治38年）4月26日任文官高等懲戒委員，同年12月27日任內(nèi)務(wù)省所管事務(wù)政府委員。

1906年（明治39年）1月7日——1908年（明治41年）1月14日任第一次西園寺公望內(nèi)閣遞信大臣。1906年（明治39年）1月22日免東京市區(qū)改正委員長(zhǎng)，同年1月31日依愿免文官高等懲戒委員。在任遞信相期間，積極貫徹其父山縣有朋的意志。1908年（明治41年）1月13日，西園寺內(nèi)閣在編制1908年度的預(yù)算時(shí)，遞信大臣山縣伊三郎與大藏大臣阪谷芳郎就鐵道建設(shè)預(yù)算問(wèn)題發(fā)生意見(jiàn)沖突，兩人在當(dāng)天共同向明治天皇提出辭呈，此舉實(shí)際上成了西園寺內(nèi)閣崩潰的催化劑。1月14日，西園寺內(nèi)閣也以“內(nèi)閣不統(tǒng)一”為由遞交了辭呈。但天皇依據(jù)元老首座伊藤博文的意見(jiàn)，批準(zhǔn)遞相和藏相辭職，但保留西園寺內(nèi)閣，進(jìn)行內(nèi)閣改組。同年5月，立憲政友會(huì)在眾議院換屆大選中取得絕對(duì)多數(shù)，由于擔(dān)心政友會(huì)在內(nèi)閣占據(jù)絕對(duì)優(yōu)勢(shì)，因此山縣閥持續(xù)展開(kāi)倒閣運(yùn)動(dòng)，最終西園寺內(nèi)閣在7月4日總辭職。1908年（明治41年）7月7日，山縣伊三郎任帝國(guó)議會(huì)貴族院敕選議員。

1910年（明治43年）5月30日任韓國(guó)統(tǒng)監(jiān)府副統(tǒng)監(jiān)，與統(tǒng)監(jiān)寺內(nèi)正毅協(xié)力加速推進(jìn)“日韓合并”。1910年（明治43年）10月1日——1919年（大正8年）8月12日任朝鮮總督府政務(wù)總監(jiān)兼中樞院議長(zhǎng)，敘親任官。政務(wù)總監(jiān)是在朝鮮總督之下設(shè)置的親任官，在朝鮮總督府組織體系中居第二位，統(tǒng)括除軍事權(quán)以外的行政、立法、司法之一切實(shí)務(wù)大權(quán)；朝鮮總督府中樞院是仿樞密院設(shè)置的咨詢顧問(wèn)機(jī)構(gòu)，以日裔政務(wù)總監(jiān)兼任議長(zhǎng)，朝鮮人任副議長(zhǎng)和顧問(wèn)。1911年（明治44年）2月1日兼任李王職職員懲戒委員。1912年（明治45年）4月1日——1913年（大正2年）7月14日兼任臨時(shí)土地調(diào)查局長(zhǎng)事務(wù)取扱，1913年（大正2年）7月14日兼任朝鮮總督府高等土地調(diào)查委員會(huì)委員長(zhǎng)。1916年（大正5年）12月25日任內(nèi)務(wù)省所管事務(wù)政府委員。1917年（大正6年）5月3日受命赴滿洲出差，同年12月25日任政府委員。1918年（大正7年）6月20日任株式會(huì)社朝鮮殖產(chǎn)銀行設(shè)立委員長(zhǎng)，同年12月25日任政府委員。1919年（大正8年）1月25日任大勛位李太王葬儀掛長(zhǎng)，辦理朝鮮高宗李熙的國(guó)葬。

山縣伊三郎在朝鮮任職近10年，開(kāi)展土地調(diào)查、銀行金融、關(guān)稅制度的整備，為日本強(qiáng)化在朝鮮半島的殖民統(tǒng)治和“開(kāi)發(fā)”（實(shí)為經(jīng)濟(jì)控制和資源掠奪）竭盡心力。1919年（大正8年）3月1日，朝鮮半島爆發(fā)反抗日本殖民統(tǒng)治，爭(zhēng)取民族解放的“三一運(yùn)動(dòng)”，在日本殖民當(dāng)局的殘酷鎮(zhèn)壓和野蠻屠殺下，三一運(yùn)動(dòng)以失敗告終。日本的原敬首相在三·一獨(dú)立運(yùn)動(dòng)后擬改用文官擔(dān)任朝鮮總督，取代聲名狼藉的軍人，此意在廢止殖民地武官專任制，以“文化政治”取代“武斷政治”。先后輔佐寺內(nèi)正毅、長(zhǎng)谷川好道兩代朝鮮總督（兩人均為陸軍元帥）的山縣伊三郎一度被認(rèn)為是文官總督的最佳人選。1919年（大正8年）8月12日，山縣伊三郎與長(zhǎng)谷川好道一同解任，但接任總督的是預(yù)備役海軍大將齋藤實(shí)，立憲政友會(huì)的水野鏈太郎接任政務(wù)總監(jiān)。

1920年（大正9年）5月24日——1922年（大正11年）9月8日任關(guān)東長(zhǎng)官（日本在中國(guó)東北的殖民地關(guān)東州的行政首腦，駐節(jié)旅順）。同年7月1日、12月21日兩次任政府委員。 1922年（大正11年）2月1日，養(yǎng)父山縣有朋去世，同年2月28日，山縣伊三郎繼任山縣公爵家家督并世襲為公爵。1922年（大正11年）2月27日免去貴族院敕選議員，28日襲爵后自動(dòng)成為貴族院華族議員（全體公爵、侯爵是貴族院的當(dāng)然議員，屬世襲議席）。1922年（大正11年）11月4日——1927年（昭和2年）9月24日任樞密顧問(wèn)官。1924年（大正13年）12月29日作為答禮使出使印度支那。1926年（大正15年）3月16日任宮內(nèi)省宗秩寮審議官。同年6月15日任維新史料編纂會(huì)委員。1927年（昭和2年）9月24日，山縣伊三郎公爵病逝，享年69歲。

1883年（明治16年）12月25日-正七位；

1884年（明治17年）10月3日-從五位；

1890年（明治23年）3月1日-大日本帝國(guó)憲法發(fā)布記念章；

1891年（明治24年）6月16日-正五位；

1895年（明治28年）6月21日-勛六等瑞寶章；

1896年（明治29年）6月20日-從四位；

1897年（明治30年）6月26日-勛五等瑞寶章；

1898年（明治31年）12月28日-勛四等瑞寶章；

1901年（明治34年）6月21日-正四位；

1902年（明治35年）12月27日-勛三等瑞寶章；

1906年（明治39年）3月30日-從三位；

1906年（明治39年）4月1日-勛二等旭日重光章?明治三十七八年從軍記章；

1909年（明治42年）7月21日-勛一等旭日大綬章；

1912年（大正元年）8月1日-韓國(guó)并合記念章；

1912年（大正2年）9月10日-正三位；

1915年（大正4年）11月7日-金杯一組；

1915年（大正4年）11月10日-大禮記念章（大正）；

1918年（大正7年）11月4日-金杯一組；

1920年（大正9年）11月15日-金杯一組；

1920年（大正9年）12月23日-金杯一組；

1921年（大正10年）7月11日-從二位；

1922年（大正11年）2月28日-公爵襲爵；

1926年（大正15年）1月15日-御紋付銀杯；

1927年（昭和2年）9月24日-正二位?旭日桐花大綬章?帝都復(fù)興記念章。

1885年（明治18年）2月10日-德意志帝國(guó)梅克倫堡-什未林大公國(guó)李特爾·克羅伊茨·格里芬勛章；

1908年（明治41年）2月24日-大韓帝國(guó)李花大勛章；

1910年（明治43年）8月28日-大韓帝國(guó)瑞星大勛章；

1925年（大正14年）4月13日-法蘭西第三共和國(guó)法國(guó)榮譽(yù)軍團(tuán)勛章大十字騎士勛位。

山縣伊三郎的妻子是加藤弘之男爵之女高子。長(zhǎng)子山縣有道繼承山縣公爵家，曾出仕宮中，任侍從和式部官，襲公爵。三子山縣三郎是內(nèi)務(wù)·朝鮮總督府·臺(tái)灣總督府系統(tǒng)的官僚，官至栃木縣知事。養(yǎng)子山縣有光是船越光之丞男爵的三子，母親是山縣有朋之女松子，過(guò)繼為山縣伊三郎的養(yǎng)子，蔭祖父之功勛，1922年（大正11年）2月封授男爵，建立山縣公爵家的分家山縣男爵家，官至陸軍大佐、第21飛行團(tuán)長(zhǎng)。