長(zhǎng)州藩支藩巖國(guó)藩武士長(zhǎng)谷川藤次郎之子，父親是劍術(shù)師范。曾參加戊辰戰(zhàn)爭(zhēng)。大阪兵學(xué)寮（陸士前身）畢業(yè)。

1871年4月19日初任陸軍大尉。歷任步兵第1聯(lián)隊(duì)長(zhǎng)代理（參加西南戰(zhàn)爭(zhēng)），步兵第11聯(lián)隊(duì)長(zhǎng)，步兵第1聯(lián)隊(duì)長(zhǎng)，廣島鎮(zhèn)臺(tái)參謀長(zhǎng)，大阪鎮(zhèn)臺(tái)參謀長(zhǎng)，中部監(jiān)軍部參謀，步兵第12旅團(tuán)長(zhǎng)（代理）。1886年12月23日晉升陸軍少將，任步兵第12旅團(tuán)長(zhǎng)。（中日甲午戰(zhàn)爭(zhēng)率部出征）1895年8月20日封男爵。后歷任第3師團(tuán)長(zhǎng)，近衛(wèi)師團(tuán)長(zhǎng)。（日俄戰(zhàn)爭(zhēng)率近衛(wèi)師團(tuán)出征）1904年6月6日晉升陸軍大將，9月8日任朝鮮駐屯軍司令官。1907年9月21日升子爵，同時(shí)改任軍事參議官，1912年1月12日任參謀總長(zhǎng)。年底為增加駐朝鮮的兩個(gè)師團(tuán)提案為內(nèi)閣否決，指使陸軍大臣上原勇作辭職，導(dǎo)致西園寺公望內(nèi)閣解體。1914年1月9日授予元帥稱號(hào)。同年7月一戰(zhàn)爆發(fā)，指揮日本參加一戰(zhàn)；10月德宣戰(zhàn)為由，出兵占領(lǐng)了中國(guó)青島、濟(jì)南和膠濟(jì)鐵路全線。1915年以最后通牒方式迫使袁世凱接受日本滅亡中國(guó)的“二十一條”要求，同年12月17日辭去參謀總長(zhǎng)。1916年7月14日升伯爵，10月16日任第2任朝鮮總督。1919年對(duì)朝鮮爆發(fā)的“三.一大起義”進(jìn)行了殘酷鎮(zhèn)壓；但日本政府為分裂和弱化民族的獨(dú)立運(yùn)動(dòng)，從表面上改變了對(duì)韓國(guó)的統(tǒng)治方式，標(biāo)榜所謂的文化政治，于8月12日由海軍大將齋藤實(shí)將其取代。長(zhǎng)谷川被調(diào)遣回國(guó)，轉(zhuǎn)任議定官。1924年1月27日去世，葬于東京都港區(qū)南青山青山靈園。追授大勛位菊花大綬章。曾獲一級(jí)金鵄勛章。養(yǎng)子陸軍少將長(zhǎng)谷川豬三郎伯爵（陸士3），軍銜至陸軍少將。