安政5年(1858年)8月1日，出生于筑前國福岡(現(xiàn)在的福岡縣福岡市)荒戶町，作為福岡藩士馬回役神尾家之丞的四子。乳名駒吉。12歲的時候，成為福岡藩奉行團(tuán)尚靜的繼子。在藩校修猷館學(xué)習(xí)。明治4年(1871年)，與金子堅太郎一起作為舊藩主黑田長知的隨巖倉使團(tuán)同行赴美，在那里留學(xué)。畢業(yè)馬薩諸塞工科大學(xué)礦山專業(yè)，明治11年(1878年)回國。一起赴美了的金子堅太郎進(jìn)入哈佛大學(xué)，此后二人的朋友也持續(xù)，后來干脆與金子堅太郎的妹妹芳子結(jié)婚�；貒�后，大曾任大阪專門學(xué)校、東京帝國大學(xué)副教授。教授工學(xué)和天文學(xué)。1884 年轉(zhuǎn)入工部省。成為礦山局副局長，三池礦山局工程師。為了采煤技術(shù)再次赴歐洲學(xué)習(xí)。明治21年(1888年)三池礦山被政府賣給三井以后，就到了三井，就任三井三池煤礦公司事務(wù)長。進(jìn)行了被認(rèn)為是三大工程的三池港的海港，鐵路的施工、大牟田河的疏浚，利用赴歐的時候?qū)W會的大型水泵技術(shù)，解決了沒于水中的豎坑的排水問題。明治26年(1893年)三井礦山合資公司專職理事。1899年被授予工學(xué)博士稱號。明治42年(1909年)三井礦山會長。這個時候，因為團(tuán)琢磨的經(jīng)營手腕，三井礦山的利益超過三井銀行，與三井物產(chǎn)并肩，三池礦山被稱為「三井的手提式保險箱」，1914年接替益田孝就任三井合股公司理事長，成為三井財團(tuán)的最高領(lǐng)導(dǎo)人。在大正6年(1917年)時設(shè)立日本工業(yè)俱樂部，就任第一代理事長。1922年和井上準(zhǔn)之助建立日本經(jīng)濟(jì)聯(lián)盟會，翌年變成同理事長，1928年同會長，成為名符其實日本經(jīng)濟(jì)界、金融界的旗手。同年被授予著男爵位。1925—1926 年率實業(yè)團(tuán)出訪歐美，鼓吹對外經(jīng)濟(jì)侵略。1928 年受封男爵，次年帶領(lǐng)資本家諸團(tuán)體，反對《勞動組合法案》。1931 年九一八事變后，以其為首的三井財閥趁政府即將禁止黃金出口而搶購美元，引起風(fēng)潮，若槻禮次郎內(nèi)閣譴責(zé)搶購美元為賣國投機(jī)，但同年12 月為犬養(yǎng)毅內(nèi)閣上臺后再度禁止黃金出口，財團(tuán)轉(zhuǎn)眼獲得了巨額利潤。為此國民對財閥、政府的不信任感倍增，血盟團(tuán)則以其為目標(biāo)，于1932 年3 月在三井正樓門前被血盟團(tuán)團(tuán)員菱沼五郎刺殺。