都城藩家老，龍岡棲山次子，都城藩士上原尚實(shí)養(yǎng)子。1877年入陸士舊3期，1879年12月22日授予陸軍少尉軍銜。歷任陸士教官，工兵第5大隊(duì)長(zhǎng)，參謀本部副官兼陸軍大學(xué)教官。甲午中日戰(zhàn)爭(zhēng)任第1軍參謀，第1軍參謀副長(zhǎng)。參謀本部第四部長(zhǎng)，參謀本部第三部長(zhǎng)兼第五部長(zhǎng)，海牙和平會(huì)議隨員。1900年7月11日晉升陸軍少將。陸軍炮工學(xué)校校長(zhǎng)兼參謀本部第3部長(zhǎng)，工兵監(jiān)，日俄戰(zhàn)爭(zhēng)任第4軍參謀長(zhǎng)，輔佐丈人野津道貫大將。戰(zhàn)后再次任工兵監(jiān)。1907年9月21日因日俄戰(zhàn)爭(zhēng)戰(zhàn)功授封男爵。

后歷任第7師團(tuán)長(zhǎng)，第14師團(tuán)長(zhǎng)，陸相。1912年年底陸軍增加駐朝鮮的兩個(gè)師團(tuán)的提案為內(nèi)閣否決后，受參謀總長(zhǎng)長(zhǎng)谷川好道指使，向天皇提出辭職，并不指定后繼人，從而搞垮了第二次西園寺公望內(nèi)閣（“軍閥毒殺內(nèi)閣”）。后任第3師團(tuán)長(zhǎng)，教育總監(jiān)。1915年2月15日晉升陸軍大將，同時(shí)兼任軍事參議官。1915年12月17日任陸軍參謀總長(zhǎng),1918年8月在一戰(zhàn)中派遣日軍出兵占領(lǐng)蘇聯(lián)的西伯利亞。1919年在他的主張下，關(guān)東都督府被撤銷，實(shí)行軍政分離，成立了關(guān)東廳與關(guān)東軍（首任軍長(zhǎng)為立花小一郎）。1921年4月18日升子爵，4月27日名列元帥府，成為元帥陸軍大將，此后一直到去世始終在陸軍中保持著巨大的影響。1923年3月17日參謀總長(zhǎng)辭職，次年5月10日改任議定官。1933年11月8日去世，追授大勛位菊花大綬章。曾獲一級(jí)金鵄勛章。女婿內(nèi)務(wù)省官吏大冢惟精，實(shí)業(yè)家大林義雄，官吏小澤凱夫。上原是工兵出身，號(hào)稱“日本工兵之父”。他陸軍三長(zhǎng)官（陸相、陸軍參謀總長(zhǎng)和陸軍教育總監(jiān)）當(dāng)遍，是繼大山巖之后薩摩派的領(lǐng)袖。自山縣，寺內(nèi)死后，長(zhǎng)州派逐漸沒落。上原自己組織了個(gè)“上原派”，與長(zhǎng)州的田中義一激烈對(duì)抗。田中的后繼人宇垣一成推行陸軍近代化，實(shí)行軍縮。上原派激烈反對(duì)。這兩個(gè)派別的對(duì)立成為后來皇道派與統(tǒng)制派爭(zhēng)斗的根源。

上原還是日本陸軍大將中第一位從陸士畢業(yè)的（舊3期），也是所有非陸大畢業(yè)的舊軍人中輩分最小的一位，從他以后，就再也沒有非陸大畢業(yè)的大將了。陸士起初實(shí)行的是法國(guó)軍事教育制度，從1875年到1889年共招收11期。從1890年開始實(shí)行德國(guó)教育制度（士官候補(bǔ)生），為了以示區(qū)別，之前的11期稱為舊陸士。（新陸士畢業(yè)第一個(gè)晉升大將的是鈴木莊六）