嘉永5年（1852年）3月15日，出生于日本周防國德山藩（今山口縣）。武士兒玉半九郎長子，幼名百合若，后稱健。9歲的時候父親為藩內(nèi)守舊派暗殺，姐夫繼承了家業(yè)，后來他在革新派的支持下才繼承家名，初次上陣是參加1868年（明治元年）戊辰戰(zhàn)爭的東征，后任兵部省御雇。大阪兵學(xué)寮（陸士前身）畢業(yè)。

1871年4月15日初任陸軍準(zhǔn)少尉，歷任第2大隊(duì)副官，步兵第19番大隊(duì)副官，佐賀之亂時他作為大阪鎮(zhèn)臺大尉副官從軍，在戰(zhàn)場上負(fù)傷，神風(fēng)連之亂時，他是熊本鎮(zhèn)臺的副參謀長，以手腕高超著稱。

1877年的西南戰(zhàn)爭，西鄉(xiāng)隆盛帶了三萬五千人包圍了熊本城，當(dāng)時鎮(zhèn)守熊本城的就是兒玉源太郎。眼看著就守不住城了，守軍中有人想起來當(dāng)年從法國買了兩門炮，只不過從來沒有用過。這時候死馬當(dāng)作活馬醫(yī)，架起炮來照著說明書講的就開了一炮。炮彈當(dāng)然不知道打到什么地方去了，但剛剛還在牛轟轟地攻城的敵兵們正恨爹娘少生了兩條腿，跑的比耗子還快，不管指揮官怎么命令，再也不肯近城一步。怎么啦？被剛剛的咣當(dāng)一聲巨響給嚇壞了。這次兒玉源太郎一戰(zhàn)成名。

戰(zhàn)后，兒玉源太郎歷任近衛(wèi)參謀副長，步兵第2聯(lián)隊(duì)長兼佐倉營所司令官，參謀本部管東局長。

曾陪同陸軍大臣大山巖到歐洲進(jìn)行軍事視察。回國后，日本陸軍的學(xué)習(xí)對象由法國改為德國，1885年被任命為陸軍次官，參謀本部第一局長兼陸軍大學(xué)校干事，監(jiān)軍部參謀長兼陸軍大學(xué)校校長，協(xié)助德國教官梅克爾少校訓(xùn)練軍隊(duì)。

1889年8月24日晉升陸軍少將，任監(jiān)軍部參謀長。改任陸軍次官兼軍務(wù)局長兼陸軍省法官部長。甲午戰(zhàn)爭開始后，任大本營留守參謀長兼臨時檢疫部長，積極策劃侵華戰(zhàn)爭，被稱為“日清戰(zhàn)爭的蕭何”。日軍攻陷平壤和黃海海戰(zhàn)后，由于掌握制海權(quán)后，立即組編侵華日軍第二軍。由于陸軍大臣大山巖出任第二軍司令官，他于是成為實(shí)際上的陸軍大臣，對日本侵華戰(zhàn)爭，從兵力部署到物資輜重，無一不躬行實(shí)踐。

1895年8月20日，日本天皇賜其金鴟勛章及旭日重光章，并授予男爵爵位。后擢任第3師團(tuán)長、內(nèi)務(wù)大臣。

甲午戰(zhàn)爭后，日本強(qiáng)迫清政府簽訂《馬關(guān)條約》，臺灣及澎湖列島被割讓于日本。當(dāng)時日本為了迅速平定臺灣，采取了剿撫并用的手法。但前三任臺灣總督樺山資紀(jì)、桂太郎、乃木希典都沒能控制住臺灣，在乃木希典看來，日本統(tǒng)治者得臺得不償失，軍費(fèi)開支每年高達(dá)700萬日元，除了臺灣的稅收之外，日本還從甲午戰(zhàn)爭中國的賠款中拿出1千2百萬對臺灣進(jìn)行軍費(fèi)補(bǔ)助。龐大的經(jīng)費(fèi)開支使日本不但沒有從臺灣的割讓中得到實(shí)際利益，反而成了日本的沉重包袱，萌生出賣臺灣的構(gòu)想，并說動了當(dāng)時的首相松方正義。經(jīng)過一系列幕后活動，初步?jīng)Q定以1500萬法郎（一說一億日元）把臺灣賣給法國。

1898年，伊藤博文重新成為日本首相，在他主持召開的軍政要員會議上，乃木希典正式提出了他的賣臺論，日本外務(wù)省也堅(jiān)決支持日本的賣臺主張。兒玉源太郎起立發(fā)言反對說：“我認(rèn)為，臺灣系日本南部的屏障，軍事價(jià)值甚大，不能賣給法國。當(dāng)初為了得到臺灣，我們費(fèi)了那么大的力，死了那么多的人。如果將臺灣賣給他國，從長遠(yuǎn)看劃不來。至于乃木總督提到臺灣不好治理的問題，我覺得不是臺灣不好治理，而是我們管理的官員無能。如果首相覺得政府中找不到治理臺灣的總督，我愿前往。”任臺灣總督。

1904年日俄戰(zhàn)爭爆發(fā)后，兒玉源太郎雖仍兼任臺灣總督，但已回軍部任職，與他同時上任的民政長官后藤新平成為臺灣實(shí)際的統(tǒng)治者。日本政界評價(jià)兒玉后藤開創(chuàng)了一個時代，奠定了臺灣殖民統(tǒng)治的基礎(chǔ)。

1903年9月，日俄矛盾日益加深，時任參謀次長的田村怡與造少將（因用兵謹(jǐn)慎，被稱為武田信玄再世，和用兵大膽，號稱上杉謙信的小川又次中將并稱）病死，已經(jīng)擢升日本內(nèi)務(wù)大臣的兒玉源太郎屈就參謀次長，開始全面策劃對俄作戰(zhàn)部署。日俄戰(zhàn)爭爆發(fā)后，晉升陸軍大將，擔(dān)任日本滿洲軍總司令大山巖元帥的參謀長。1904年7月14日，隨日軍侵入中國。此后，日本在中國的軍機(jī)事務(wù)，均由其出謀策劃，親自裁決。日軍進(jìn)攻旅順期間，對旅順戰(zhàn)況時刻關(guān)注，先后兩次親到旅順視察戰(zhàn)況和督戰(zhàn)。8月19日，日軍對旅順發(fā)起總攻后，進(jìn)攻受阻，損失慘重。9月15日，兒玉源太郎由遼陽趕至旅順，命令乃木改變原來的戰(zhàn)術(shù)，重點(diǎn)主攻203高地，10月5日返回遼陽，然而旅順仍然久攻不克。同年12月1日，兒玉源太郎帶著大山巖元帥的手令由遼陽趕至旅順，命令乃木希典交出指揮權(quán)，由他親自指揮。縱觀乃木集中軍力重點(diǎn)進(jìn)攻203高地，但俄軍也抽調(diào)了預(yù)備隊(duì)集中軍力重點(diǎn)反擊和防御。結(jié)果又是膠著，兒玉介入指揮后調(diào)整有二，都是在炮兵上。一是把東正面的280mm重炮隊(duì)一天之間集中到西正面，完成了炮兵火力的集中，并突然加大了對西正面203高地的炮擊火力。乃木擔(dān)心的說，把東面的炮隊(duì)撤出，俄國人出來反擊怎么辦。兒玉大怒，我正擔(dān)心他不出來反擊。二是改變了炮兵-步兵進(jìn)攻模式，命令在步兵突擊時候炮兵并不停止射擊。如上兩條，使得山頭俄軍失去了通常模式下炮擊后占據(jù)陣地組織防御射擊的時間，亦無法動用預(yù)備隊(duì)支援受威脅的陣地，基本上陷入七零八落的各陣地各自為戰(zhàn)的狀態(tài)，與數(shù)量優(yōu)勢日軍的混戰(zhàn)，其陣地失陷命運(yùn)可說已被決定。從兒玉介入旅順戰(zhàn)役指揮到攻克203高地，可以看出其人非常長于冷靜計(jì)算的一面。日軍于12月6日終于奪取203高地，取得了攻克旅順的關(guān)鍵勝利，火力控制了旅順整個市區(qū)和港口。由于勝局已定，他于12月10日返回遼陽日軍總司令部。此后，日軍攻勢如潮，一月之后迫使俄軍投降。

1905年3月23日，兒玉源太郎在日軍奉天之戰(zhàn)勝利后，奉命回國報(bào)告戰(zhàn)況。長岡外史參謀次長去新橋車站接他。兒玉見了長岡劈頭就問和談之事有沒有眉目，當(dāng)聽長岡說還沒有眉目時就是一頓痛罵：“戰(zhàn)爭一旦開始，最大的課題就是怎樣結(jié)束。連這個你都不懂，你是干什么的？”這個長岡就是他擔(dān)任過陸軍大學(xué)校長培養(yǎng)的學(xué)生。后來他和陸軍上層一起頂住了民間的壓力，和俄國簽署了《樸次茅斯和約》，把俄國勢力趕出了南滿�；貒�期間，他向日本大本營提出成立隸屬于滿洲軍的總兵站監(jiān)部、成立隸屬于總兵站監(jiān)部的民政長官部、改修鐵路增加運(yùn)力的建議。這些建議很快被日本采納，從此他身為滿洲軍總參謀長，實(shí)際成為日軍在大連和東北占領(lǐng)區(qū)統(tǒng)治的總頭目。他還是滿洲日本移民500萬的總策劃人。在他看來，滿洲是日本花了2億日元戰(zhàn)費(fèi)，死了10萬人才得到的，中國想收回東北必須流血才行。1906年9月，在“有關(guān)滿洲問題協(xié)商會”上，參謀總長兒玉源太郎就表示：“是不是要委任來研究滿洲的主權(quán)問題，有沒有必要成立一個官衙來主管這個問題”。但這個建議當(dāng)時就被重臣伊藤博文頂了回去：“滿洲不是日本領(lǐng)土，滿洲是清國領(lǐng)土這點(diǎn)是不容置疑的”。但這并沒有封住兒玉的野心。兒玉源太郎在會議上不厭其詳?shù)卣撌鰧Υ筮B實(shí)施殖民統(tǒng)治的方針，內(nèi)容包括土地、港灣、產(chǎn)業(yè)、教育、稅制、警察、衛(wèi)生、道路、電氣等多方面，甚至火葬場、墓地都沒有遺漏。依《樸次茅斯和約》，日本從沙俄手中奪取了大連租借地和南滿鐵路經(jīng)營權(quán)。1906年1月，他被任命為滿洲經(jīng)營調(diào)查委員會委員長。他于7月13日被日本內(nèi)閣任為“滿鐵”委員長。1906年11月26日，日本在東京成立“南滿洲鐵道株式會社”，他把他在臺灣的得力助手后藤新平叫來任命為滿鐵公司總裁。

打完了日俄戰(zhàn)爭，山縣有朋元帥心里后怕，總覺得沙皇還要回來報(bào)仇。就提出要把現(xiàn)在的17個師團(tuán)的陸軍擴(kuò)充到平時25個，戰(zhàn)時50個師團(tuán)。為什么50個？因?yàn)樯扯碓谶h(yuǎn)東地區(qū)能動員得起來的師團(tuán)據(jù)說是50個。但參謀總長兒玉大將堅(jiān)決反對，根據(jù)很簡單：有維持25個師團(tuán)的國力嗎？這邊打老毛子拉下的饑荒還不知道什么時候能還上呢。兒玉提出來的建議是增加兩個師團(tuán)，加上近衛(wèi)師團(tuán)一共20個，戰(zhàn)時倍增到40個。這樣勉強(qiáng)還能湊合。

可是陸軍大臣寺內(nèi)正毅卻堅(jiān)決反對兒玉的方案。在爭吵中，1906年7月23日，兒玉源太郎因腦溢血暴卒，年僅55歲。

死后當(dāng)天被明治天皇特旨追敘正二位、一級金鵄勛章和旭日桐花大綬章。翌年又追封為伯爵。

兒玉到任臺灣后，立即在臺灣推行了一系列新的殖民措施：在軍事上，兒玉源太郎殘酷鎮(zhèn)壓臺灣人民，他實(shí)行了保甲制度，推行連坐法。殺人無數(shù)。 但是，另一方面，兒玉又采取“皮鞭之外”加“糖”的懷柔政策。對老百姓喜歡的陋習(xí)吸鴉片，從清肅改為放寬至“專賣”，又搞“饗老典”的敬老活動，“揚(yáng)文會”重視讀書經(jīng)商精英的表彰活動等。 在經(jīng)濟(jì)上，兒玉源太郎實(shí)行了食鹽、樟腦、煙酒、鴉片等專賣制度，大肆剝削臺灣民眾。為了在臺灣農(nóng)民身上榨取更多的油水，兒玉源太郎又頒布了《臺灣地籍規(guī)則》、《土地調(diào)查規(guī)則》，并組織大批人馬對全臺土地重新進(jìn)行丈量。通過這次丈量，臺灣耕地面積比原來多了一倍，日本對臺灣的土地稅收入也因此翻番。 最令日本當(dāng)局滿意的是，兒玉源太郎在臺灣瘋狂地掠奪各種資源、物資，使日本大獲其利。那時，食糖是十分緊俏的物資，價(jià)格有時會一日數(shù)漲，臺灣的土壤和氣候很適合種植甘蔗，兒玉源太郎便強(qiáng)迫臺灣農(nóng)民種植甘蔗。每年甘蔗豐收后，日本殖民官吏指揮蔗農(nóng)將其制成粗糖，再用低價(jià)全部收購，然后運(yùn)往日本進(jìn)行細(xì)加工，使糖的價(jià)格成倍增長。臺灣粗糖源源不斷地運(yùn)往日本，既讓日本當(dāng)局賺了大錢，又解決了日本國內(nèi)許多失業(yè)人員的就業(yè)問題。 兒玉源太郎在臺灣推行的一系列殖民政策，使日本當(dāng)局嘗到了甜頭，再也沒有人提起要將臺灣賣給他國的事了。兒玉在臺灣任期長達(dá)8年多，幾乎是歷任總督中最長的。

日本史學(xué)家都說，日俄戰(zhàn)爭的最大功臣其實(shí)不是東鄉(xiāng)平八郎和乃木希典這兩個所謂的軍神，除了天才的特工王明石元二郎外，陸軍最大的功臣是兒玉大將，海軍最大的功臣是秋山真之大佐。兒玉實(shí)際上是被日俄戰(zhàn)爭累死的，而秋山戰(zhàn)后也瘋瘋癲癲的。日本人有一句話，日俄戰(zhàn)爭要去了兒玉大將的身體，也要去了秋山參謀的靈魂。供奉兒玉源太郎的神社，位于日本神奈川縣藤澤市江之島，墓志銘是用中文漢字書寫。

長子兒玉秀雄襲爵（其妻為寺內(nèi)正毅元帥之女，后曾任內(nèi)務(wù)大臣，通信大臣），

三子兒玉友雄陸軍中將（陸士14，陸大22），

四子兒玉常雄陸軍大佐（陸士17），

九子兒玉九一（曾任厚生次官）。

女婿木戶幸一侯爵（曾任內(nèi)務(wù)大臣，甲級戰(zhàn)犯），藤田嗣雄（陸軍大學(xué)教授），穗積重遠(yuǎn)男爵（最高裁判所判事）。

曾孫電影導(dǎo)演兒玉進(jìn)。