嘉永5年（1852年）3月15日，出生于日本周防國(guó)德山藩（今山口縣）。武士?jī)河癜刖爬砷L(zhǎng)子，幼名百合若，后稱健。9歲的時(shí)候父親為藩內(nèi)守舊派暗殺，姐夫繼承了家業(yè)，后來(lái)他在革新派的支持下才繼承家名，初次上陣是參加1868年（明治元年）戊辰戰(zhàn)爭(zhēng)的東征，后任兵部省御雇。大阪兵學(xué)寮（陸士前身）畢業(yè)。

1871年4月15日初任陸軍準(zhǔn)少尉，歷任第2大隊(duì)副官，步兵第19番大隊(duì)副官，佐賀之亂時(shí)他作為大阪鎮(zhèn)臺(tái)大尉副官?gòu)能�，在�?zhàn)場(chǎng)上負(fù)傷，神風(fēng)連之亂時(shí)，他是熊本鎮(zhèn)臺(tái)的副參謀長(zhǎng)，以手腕高超著稱。

1877年的西南戰(zhàn)爭(zhēng)，西鄉(xiāng)隆盛帶了三萬(wàn)五千人包圍了熊本城，當(dāng)時(shí)鎮(zhèn)守熊本城的就是兒玉源太郎。眼看著就守不住城了，守軍中有人想起來(lái)當(dāng)年從法國(guó)買了兩門炮，只不過(guò)從來(lái)沒(méi)有用過(guò)。這時(shí)候死馬當(dāng)作活馬醫(yī)，架起炮來(lái)照著說(shuō)明書講的就開(kāi)了一炮。炮彈當(dāng)然不知道打到什么地方去了，但剛剛還在牛轟轟地攻城的敵兵們正恨爹娘少生了兩條腿，跑的比耗子還快，不管指揮官怎么命令，再也不肯近城一步。怎么啦？被剛剛的咣當(dāng)一聲巨響給嚇壞了。這次兒玉源太郎一戰(zhàn)成名。

戰(zhàn)后，兒玉源太郎歷任近衛(wèi)參謀副長(zhǎng)，步兵第2聯(lián)隊(duì)長(zhǎng)兼佐倉(cāng)營(yíng)所司令官，參謀本部管東局長(zhǎng)。

曾陪同陸軍大臣大山巖到歐洲進(jìn)行軍事視察。回國(guó)后，日本陸軍的學(xué)習(xí)對(duì)象由法國(guó)改為德國(guó)，1885年被任命為陸軍次官，參謀本部第一局長(zhǎng)兼陸軍大學(xué)校干事，監(jiān)軍部參謀長(zhǎng)兼陸軍大學(xué)校校長(zhǎng)，協(xié)助德國(guó)教官梅克爾少校訓(xùn)練軍隊(duì)。

1889年8月24日晉升陸軍少將，任監(jiān)軍部參謀長(zhǎng)。改任陸軍次官兼軍務(wù)局長(zhǎng)兼陸軍省法官部長(zhǎng)。甲午戰(zhàn)爭(zhēng)開(kāi)始后，任大本營(yíng)留守參謀長(zhǎng)兼臨時(shí)檢疫部長(zhǎng)，積極策劃侵華戰(zhàn)爭(zhēng)，被稱為“日清戰(zhàn)爭(zhēng)的蕭何”。日軍攻陷平壤和黃海海戰(zhàn)后，由于掌握制海權(quán)后，立即組編侵華日軍第二軍。由于陸軍大臣大山巖出任第二軍司令官，他于是成為實(shí)際上的陸軍大臣，對(duì)日本侵華戰(zhàn)爭(zhēng)，從兵力部署到物資輜重，無(wú)一不躬行實(shí)踐。

1895年8月20日，日本天皇賜其金鴟勛章及旭日重光章，并授予男爵爵位。后擢任第3師團(tuán)長(zhǎng)、內(nèi)務(wù)大臣。

甲午戰(zhàn)爭(zhēng)后，日本強(qiáng)迫清政府簽訂《馬關(guān)條約》，臺(tái)灣及澎湖列島被割讓于日本。當(dāng)時(shí)日本為了迅速平定臺(tái)灣，采取了剿撫并用的手法。但前三任臺(tái)灣總督樺山資紀(jì)、桂太郎、乃木希典都沒(méi)能控制住臺(tái)灣，在乃木希典看來(lái)，日本統(tǒng)治者得臺(tái)得不償失，軍費(fèi)開(kāi)支每年高達(dá)700萬(wàn)日元，除了臺(tái)灣的稅收之外，日本還從甲午戰(zhàn)爭(zhēng)中國(guó)的賠款中拿出1千2百萬(wàn)對(duì)臺(tái)灣進(jìn)行軍費(fèi)補(bǔ)助。龐大的經(jīng)費(fèi)開(kāi)支使日本不但沒(méi)有從臺(tái)灣的割讓中得到實(shí)際利益，反而成了日本的沉重包袱，萌生出賣臺(tái)灣的構(gòu)想，并說(shuō)動(dòng)了當(dāng)時(shí)的首相松方正義。經(jīng)過(guò)一系列幕后活動(dòng)，初步?jīng)Q定以1500萬(wàn)法郎（一說(shuō)一億日元）把臺(tái)灣賣給法國(guó)。

1898年，伊藤博文重新成為日本首相，在他主持召開(kāi)的軍政要員會(huì)議上，乃木希典正式提出了他的賣臺(tái)論，日本外務(wù)省也堅(jiān)決支持日本的賣臺(tái)主張。兒玉源太郎起立發(fā)言反對(duì)說(shuō)：“我認(rèn)為，臺(tái)灣系日本南部的屏障，軍事價(jià)值甚大，不能賣給法國(guó)。當(dāng)初為了得到臺(tái)灣，我們費(fèi)了那么大的力，死了那么多的人。如果將臺(tái)灣賣給他國(guó)，從長(zhǎng)遠(yuǎn)看劃不來(lái)。至于乃木總督提到臺(tái)灣不好治理的問(wèn)題，我覺(jué)得不是臺(tái)灣不好治理，而是我們管理的官員無(wú)能。如果首相覺(jué)得政府中找不到治理臺(tái)灣的總督，我愿前往�！比闻_(tái)灣總督。

1904年日俄戰(zhàn)爭(zhēng)爆發(fā)后，兒玉源太郎雖仍兼任臺(tái)灣總督，但已回軍部任職，與他同時(shí)上任的民政長(zhǎng)官后藤新平成為臺(tái)灣實(shí)際的統(tǒng)治者。日本政界評(píng)價(jià)兒玉后藤開(kāi)創(chuàng)了一個(gè)時(shí)代，奠定了臺(tái)灣殖民統(tǒng)治的基礎(chǔ)。

1903年9月，日俄矛盾日益加深，時(shí)任參謀次長(zhǎng)的田村怡與造少將（因用兵謹(jǐn)慎，被稱為武田信玄再世，和用兵大膽，號(hào)稱上杉謙信的小川又次中將并稱）病死，已經(jīng)擢升日本內(nèi)務(wù)大臣的兒玉源太郎屈就參謀次長(zhǎng)，開(kāi)始全面策劃對(duì)俄作戰(zhàn)部署。日俄戰(zhàn)爭(zhēng)爆發(fā)后，晉升陸軍大將，擔(dān)任日本滿洲軍總司令大山巖元帥的參謀長(zhǎng)。1904年7月14日，隨日軍侵入中國(guó)。此后，日本在中國(guó)的軍機(jī)事務(wù)，均由其出謀策劃，親自裁決。日軍進(jìn)攻旅順期間，對(duì)旅順戰(zhàn)況時(shí)刻關(guān)注，先后兩次親到旅順視察戰(zhàn)況和督戰(zhàn)。8月19日，日軍對(duì)旅順發(fā)起總攻后，進(jìn)攻受阻，損失慘重。9月15日，兒玉源太郎由遼陽(yáng)趕至旅順，命令乃木改變?cè)瓉?lái)的戰(zhàn)術(shù)，重點(diǎn)主攻203高地，10月5日返回遼陽(yáng)，然而旅順仍然久攻不克。同年12月1日，兒玉源太郎帶著大山巖元帥的手令由遼陽(yáng)趕至旅順，命令乃木希典交出指揮權(quán)，由他親自指揮�？v觀乃木集中軍力重點(diǎn)進(jìn)攻203高地，但俄軍也抽調(diào)了預(yù)備隊(duì)集中軍力重點(diǎn)反擊和防御。結(jié)果又是膠著，兒玉介入指揮后調(diào)整有二，都是在炮兵上。一是把東正面的280mm重炮隊(duì)一天之間集中到西正面，完成了炮兵火力的集中，并突然加大了對(duì)西正面203高地的炮擊火力。乃木擔(dān)心的說(shuō)，把東面的炮隊(duì)撤出，俄國(guó)人出來(lái)反擊怎么辦。兒玉大怒，我正擔(dān)心他不出來(lái)反擊。二是改變了炮兵-步兵進(jìn)攻模式，命令在步兵突擊時(shí)候炮兵并不停止射擊。如上兩條，使得山頭俄軍失去了通常模式下炮擊后占據(jù)陣地組織防御射擊的時(shí)間，亦無(wú)法動(dòng)用預(yù)備隊(duì)支援受威脅的陣地，基本上陷入七零八落的各陣地各自為戰(zhàn)的狀態(tài)，與數(shù)量?jī)?yōu)勢(shì)日軍的混戰(zhàn)，其陣地失陷命運(yùn)可說(shuō)已被決定。從兒玉介入旅順戰(zhàn)役指揮到攻克203高地，可以看出其人非常長(zhǎng)于冷靜計(jì)算的一面。日軍于12月6日終于奪取203高地，取得了攻克旅順的關(guān)鍵勝利，火力控制了旅順整個(gè)市區(qū)和港口。由于勝局已定，他于12月10日返回遼陽(yáng)日軍總司令部。此后，日軍攻勢(shì)如潮，一月之后迫使俄軍投降。

1905年3月23日，兒玉源太郎在日軍奉天之戰(zhàn)勝利后，奉命回國(guó)報(bào)告戰(zhàn)況。長(zhǎng)岡外史參謀次長(zhǎng)去新橋車站接他。兒玉見(jiàn)了長(zhǎng)岡劈頭就問(wèn)和談之事有沒(méi)有眉目，當(dāng)聽(tīng)長(zhǎng)岡說(shuō)還沒(méi)有眉目時(shí)就是一頓痛罵：“戰(zhàn)爭(zhēng)一旦開(kāi)始，最大的課題就是怎樣結(jié)束。連這個(gè)你都不懂，你是干什么的？”這個(gè)長(zhǎng)岡就是他擔(dān)任過(guò)陸軍大學(xué)校長(zhǎng)培養(yǎng)的學(xué)生。后來(lái)他和陸軍上層一起頂住了民間的壓力，和俄國(guó)簽署了《樸次茅斯和約》，把俄國(guó)勢(shì)力趕出了南滿�；貒�(guó)期間，他向日本大本營(yíng)提出成立隸屬于滿洲軍的總兵站監(jiān)部、成立隸屬于總兵站監(jiān)部的民政長(zhǎng)官部、改修鐵路增加運(yùn)力的建議。這些建議很快被日本采納，從此他身為滿洲軍總參謀長(zhǎng)，實(shí)際成為日軍在大連和東北占領(lǐng)區(qū)統(tǒng)治的總頭目。他還是滿洲日本移民500萬(wàn)的總策劃人。在他看來(lái)，滿洲是日本花了2億日元戰(zhàn)費(fèi)，死了10萬(wàn)人才得到的，中國(guó)想收回東北必須流血才行。1906年9月，在“有關(guān)滿洲問(wèn)題協(xié)商會(huì)”上，參謀總長(zhǎng)兒玉源太郎就表示：“是不是要委任來(lái)研究滿洲的主權(quán)問(wèn)題，有沒(méi)有必要成立一個(gè)官衙來(lái)主管這個(gè)問(wèn)題”。但這個(gè)建議當(dāng)時(shí)就被重臣伊藤博文頂了回去：“滿洲不是日本領(lǐng)土，滿洲是清國(guó)領(lǐng)土這點(diǎn)是不容置疑的”。但這并沒(méi)有封住兒玉的野心。兒玉源太郎在會(huì)議上不厭其詳?shù)卣撌鰧?duì)大連實(shí)施殖民統(tǒng)治的方針，內(nèi)容包括土地、港灣、產(chǎn)業(yè)、教育、稅制、警察、衛(wèi)生、道路、電氣等多方面，甚至火葬場(chǎng)、墓地都沒(méi)有遺漏。依《樸次茅斯和約》，日本從沙俄手中奪取了大連租借地和南滿鐵路經(jīng)營(yíng)權(quán)。1906年1月，他被任命為滿洲經(jīng)營(yíng)調(diào)查委員會(huì)委員長(zhǎng)。他于7月13日被日本內(nèi)閣任為“滿鐵”委員長(zhǎng)。1906年11月26日，日本在東京成立“南滿洲鐵道株式會(huì)社”，他把他在臺(tái)灣的得力助手后藤新平叫來(lái)任命為滿鐵公司總裁。

打完了日俄戰(zhàn)爭(zhēng)，山縣有朋元帥心里后怕，總覺(jué)得沙皇還要回來(lái)報(bào)仇。就提出要把現(xiàn)在的17個(gè)師團(tuán)的陸軍擴(kuò)充到平時(shí)25個(gè)，戰(zhàn)時(shí)50個(gè)師團(tuán)。為什么50個(gè)？因?yàn)樯扯碓谶h(yuǎn)東地區(qū)能動(dòng)員得起來(lái)的師團(tuán)據(jù)說(shuō)是50個(gè)。但參謀總長(zhǎng)兒玉大將堅(jiān)決反對(duì)，根據(jù)很簡(jiǎn)單：有維持25個(gè)師團(tuán)的國(guó)力嗎？這邊打老毛子拉下的饑荒還不知道什么時(shí)候能還上呢。兒玉提出來(lái)的建議是增加兩個(gè)師團(tuán)，加上近衛(wèi)師團(tuán)一共20個(gè)，戰(zhàn)時(shí)倍增到40個(gè)。這樣勉強(qiáng)還能湊合。

可是陸軍大臣寺內(nèi)正毅卻堅(jiān)決反對(duì)兒玉的方案。在爭(zhēng)吵中，1906年7月23日，兒玉源太郎因腦溢血暴卒，年僅55歲。

死后當(dāng)天被明治天皇特旨追敘正二位、一級(jí)金鵄勛章和旭日桐花大綬章。翌年又追封為伯爵。

兒玉到任臺(tái)灣后，立即在臺(tái)灣推行了一系列新的殖民措施：在軍事上，兒玉源太郎殘酷鎮(zhèn)壓臺(tái)灣人民，他實(shí)行了保甲制度，推行連坐法。殺人無(wú)數(shù)。 但是，另一方面，兒玉又采取“皮鞭之外”加“糖”的懷柔政策。對(duì)老百姓喜歡的陋習(xí)吸鴉片，從清肅改為放寬至“專賣”，又搞“饗老典”的敬老活動(dòng)，“揚(yáng)文會(huì)”重視讀書經(jīng)商精英的表彰活動(dòng)等。 在經(jīng)濟(jì)上，兒玉源太郎實(shí)行了食鹽、樟腦、煙酒、鴉片等專賣制度，大肆剝削臺(tái)灣民眾。為了在臺(tái)灣農(nóng)民身上榨取更多的油水，兒玉源太郎又頒布了《臺(tái)灣地籍規(guī)則》、《土地調(diào)查規(guī)則》，并組織大批人馬對(duì)全臺(tái)土地重新進(jìn)行丈量。通過(guò)這次丈量，臺(tái)灣耕地面積比原來(lái)多了一倍，日本對(duì)臺(tái)灣的土地稅收入也因此翻番。 最令日本當(dāng)局滿意的是，兒玉源太郎在臺(tái)灣瘋狂地掠奪各種資源、物資，使日本大獲其利。那時(shí)，食糖是十分緊俏的物資，價(jià)格有時(shí)會(huì)一日數(shù)漲，臺(tái)灣的土壤和氣候很適合種植甘蔗，兒玉源太郎便強(qiáng)迫臺(tái)灣農(nóng)民種植甘蔗。每年甘蔗豐收后，日本殖民官吏指揮蔗農(nóng)將其制成粗糖，再用低價(jià)全部收購(gòu)，然后運(yùn)往日本進(jìn)行細(xì)加工，使糖的價(jià)格成倍增長(zhǎng)。臺(tái)灣粗糖源源不斷地運(yùn)往日本，既讓日本當(dāng)局賺了大錢，又解決了日本國(guó)內(nèi)許多失業(yè)人員的就業(yè)問(wèn)題。 兒玉源太郎在臺(tái)灣推行的一系列殖民政策，使日本當(dāng)局嘗到了甜頭，再也沒(méi)有人提起要將臺(tái)灣賣給他國(guó)的事了。兒玉在臺(tái)灣任期長(zhǎng)達(dá)8年多，幾乎是歷任總督中最長(zhǎng)的。

日本史學(xué)家都說(shuō)，日俄戰(zhàn)爭(zhēng)的最大功臣其實(shí)不是東鄉(xiāng)平八郎和乃木希典這兩個(gè)所謂的軍神，除了天才的特工王明石元二郎外，陸軍最大的功臣是兒玉大將，海軍最大的功臣是秋山真之大佐。兒玉實(shí)際上是被日俄戰(zhàn)爭(zhēng)累死的，而秋山戰(zhàn)后也瘋瘋癲癲的。日本人有一句話，日俄戰(zhàn)爭(zhēng)要去了兒玉大將的身體，也要去了秋山參謀的靈魂。供奉兒玉源太郎的神社，位于日本神奈川縣藤澤市江之島，墓志銘是用中文漢字書寫。

長(zhǎng)子兒玉秀雄襲爵（其妻為寺內(nèi)正毅元帥之女，后曾任內(nèi)務(wù)大臣，通信大臣），

三子兒玉友雄陸軍中將（陸士14，陸大22），

四子兒玉常雄陸軍大佐（陸士17），

九子兒玉九一（曾任厚生次官）。

女婿木戶幸一侯爵（曾任內(nèi)務(wù)大臣，甲級(jí)戰(zhàn)犯），藤田嗣雄（陸軍大學(xué)教授），穗積重遠(yuǎn)男爵（最高裁判所判事）。

曾孫電影導(dǎo)演兒玉進(jìn)。