父親是 鹿兒島 藩士。 戊辰戰(zhàn)爭期間從軍，參加 倒幕 維新，后任警察官。參加過 1874年日本侵略臺灣事件和 西南戰(zhàn)爭。明治26年（1893年）以后歷任 島根、 山口、 熊本、 宮城各 縣知事。明治31年第2次山縣內(nèi)閣時期任警視總監(jiān)。明治33年敕選貴族院議員。明治36年以后歷任第1次～第3次桂內(nèi)閣遞相、農(nóng)商相、內(nèi)相。大正2年（1913年）參加創(chuàng)立立憲同志會。大正3年任第2次大隈內(nèi)閣農(nóng)商相。大正4年任內(nèi)相，干涉和操弄總選舉，導(dǎo)致執(zhí)政黨在選舉中獲得壓倒性勝利，在上屆議會審議陸軍兩個 師團(tuán)增設(shè)案之際收買十幾名議員的事件被曝光而不得不辭職，并從 政界 引退。受封為子爵。

1850年6月15日生于 薩摩藩藩主 島津家的 分家宮之城島津家的 家臣家庭。戊辰戰(zhàn)爭期間參加薩摩藩軍，出征 奧羽（ 陸奧國· 出羽國）方面。 明治維新后任 東京府警察官，從 邏卒（ 巡警）累官至司法省少警部。明治8年（1875年）升任 警視廳 警部補(bǔ)。 征韓論之議后，薩摩出身的警察官集體辭官退隱故里，時隔不久，他與不平士族分道揚(yáng)鑣，再次上京歸于大警視 川路利良麾下任警察官。明治10年（1877年） 西南戰(zhàn)爭中，大浦兼武率領(lǐng) 拔刀隊(duì)取得戰(zhàn)功，晉升為 陸軍中尉兼三等小警部。

1882年（明治14年），大浦兼武就任 大阪府警部長（今警察本部長）。1884年（明治17年）發(fā)生“松島事件”（陸軍士兵與警察官發(fā)生大規(guī)模武裝毆斗），大浦兼武身著軍服策馬飛馳現(xiàn)場，以雙方上官的身份對兩邊進(jìn)行壓制，迅速平息事態(tài)，獲得了很高的評價。后調(diào)任 富山縣書記官。1888年（明治21年）升任警保局次長。在大阪時，得到山縣有朋的賞識和拔擢，成為山縣閥的得力干將。1892年（明治25年）2月15日在帝國議會（眾議員）第2回總選舉中，以鐵腕手段干涉選舉。

1893年（明治26年）3月21日——1895年（明治28年）3月27日任島根縣知事，1895年（明治28年）3月27日——1896年（明治29年）12月1日任山口縣知事，1896年（明治29年）12月1日——1898年（明治31年）7月28日 任熊本縣知事，1898年（明治31年）7月28日——1898年（明治31年）8月9日任宮城縣知事。1898年（明治31年）11月9日——1900年（明治33年）10月19日任警視廳 警視總監(jiān)。1900年（明治33年）3月19日任貴族院敕選議員。1901年（明治34年）6月2日——1903年（明治36年）9月22日再次任警視總監(jiān)。在警視總監(jiān)任內(nèi)，他一方面為確立警察官的規(guī)則、整肅娼妓行業(yè)而盡力，另一方面，他是對敵對政治勢力進(jìn)行政治偵查的總指揮。

1903年（明治36年）9月22日——1906年（明治39年）1月7日任第一次 桂太郎內(nèi)閣遞信大臣，任內(nèi)極力推動鐵道國有法案的立案和加速建成京釜鐵路（ 京釜線）。1908年（明治41年）7月14日——1911年（明治44年）8月30日任第二次桂太郎內(nèi)閣農(nóng)商務(wù)大臣，任內(nèi)致力于設(shè)立帝國農(nóng)會和制定工廠法。1912年（大正元年）12月21日——1913年（大正2年）2月20日任第三次桂太郎內(nèi)閣內(nèi)務(wù)大臣。1914年（大正3年）4月16日——1915年（大正4年）1月7日任第二次 大隈重信內(nèi)閣農(nóng)商務(wù)大臣，1915年（大正4年）1月9日——1915年（大正4年）7月30日 移任內(nèi)務(wù)大臣，在議會解散后的第25回議會總選舉中，指揮 執(zhí)政聯(lián)盟（立憲同志會·中正會·大隈伯后援會）取得壓倒性多數(shù)。

1908年為對抗在議會去多絕對多數(shù)立憲政友會，領(lǐng)導(dǎo)組建官僚政黨“中央俱樂部”。第一次護(hù)憲運(yùn)動（ 大正政變）后，參與創(chuàng)立藩閥元老的御用政黨立憲同志會。與 加藤高明為爭奪總裁而發(fā)生對抗，最終選舉以加藤高明為總理， 河野廣中、大石正巳、大浦兼武為總務(wù)委員的領(lǐng)導(dǎo)核心，1913年（大正2年）12月23日立憲同志會（后來相繼改組為憲政會和立憲民政黨）正式成立。

大浦兼武在大隈內(nèi)閣內(nèi)相任上，因違反和干涉選舉而接受調(diào)查，以及在農(nóng)商務(wù)相任內(nèi)，為使陸軍增加兩個師團(tuán)及海軍造艦的擴(kuò)軍法案能在國會審議時順利通過，通過當(dāng)時眾議院秘書處秘書長林田龜太郎收買 在野黨議員的弊案被發(fā)覺，其政治生命終結(jié)，史稱“大浦事件”，而在其幕后有元老山縣有朋和軍部的深刻背景。

大浦事件對日本產(chǎn)生了深遠(yuǎn)的影響。在司法上，案發(fā)后， 檢察機(jī)關(guān)以 賄賂罪嫌疑實(shí)施偵查。當(dāng)時已轉(zhuǎn)任內(nèi)務(wù)大臣的大浦在法務(wù)部長尾崎等人的勸說之下，決定辭去所有公職，并立誓今后絕不參與政治，退隱江湖。檢察官偵查終結(jié)后，對大浦予以不起訴處分。而相對從犯林田龜太郎及受賄議員等19人均被起訴，并被判決有罪。鑒于大浦確已構(gòu)成行賄犯罪，且事實(shí)清楚，檢察官適用起訴裁量權(quán)作出的這一處分，招致輿論抨擊，稱檢察機(jī)關(guān)“縱放吞舟之魚”，致使“法律權(quán)威墜地”，等等。大浦事件的發(fā)生，對于日本 起訴便宜主義的立法化，起了重要的推動作用。

在政治上，大浦事件成了大隈重信內(nèi)閣倒臺的催化劑。第2次大隈內(nèi)閣虛有其表，名為政黨內(nèi)閣，實(shí)則是元老會議一手扶持，正如 古島一雄所言“大隈內(nèi)閣根本不行，只不過是官僚軍閥的爪牙而已，不仰山縣有朋之鼻息則一事無成”。在大選中失敗的政友會相繼就政府對華政策、大浦兼武內(nèi)相在確定候選人時收受金錢賄賂、政府干涉選舉等問題對內(nèi)閣提出不信任案，但都因執(zhí)政黨占據(jù)多數(shù)席位而被否決，反而通過了陸軍增加兩個師團(tuán)案。但是，在上屆議會時大浦內(nèi)相為增加陸軍案能獲通過而收買十幾名議員的事件被發(fā)覺而被迫辭職，這些都使大隈內(nèi)閣失去國民信任，受到輿論猛烈批判。對元老們來說，壓制政友會、增加陸軍兩個師團(tuán)兵力的目的都已達(dá)到，大隈內(nèi)閣的御用任務(wù)已經(jīng)完成。在另一個元老們期待的第四次日俄協(xié)約與秘密協(xié)定締結(jié)后，他們認(rèn)為已沒有必要再為大隈內(nèi)閣的崩潰踩剎車了。

1915年（大正4年）8月3日辭去貴族院議員，翌日隱居。1918年（大正7年）9月30日逝世，享年69歲。

曾任大日本武德會會長、日英博覽會總裁。

1906年（明治39年）4月1日- 旭日大綬章。

1906年（明治39年）4月1日 -明治三十七八年從軍紀(jì)念章。

1912年（大正元年）8月1日-韓國合并紀(jì)念章。

1915年（大正4年）11月10日-大禮紀(jì)念章。