父親是 鹿兒島 藩士。 戊辰戰(zhàn)爭期間從軍，參加 倒幕 維新，后任警察官。參加過 1874年日本侵略臺灣事件和 西南戰(zhàn)爭。明治26年（1893年）以后歷任 島根、 山口、 熊本、 宮城各 縣知事。明治31年第2次山縣內閣時期任警視總監(jiān)。明治33年敕選貴族院議員。明治36年以后歷任第1次～第3次桂內閣遞相、農商相、內相。大正2年（1913年）參加創(chuàng)立立憲同志會。大正3年任第2次大隈內閣農商相。大正4年任內相，干涉和操弄總選舉，導致執(zhí)政黨在選舉中獲得壓倒性勝利，在上屆議會審議陸軍兩個 師團增設案之際收買十幾名議員的事件被曝光而不得不辭職，并從 政界 引退。受封為子爵。

1850年6月15日生于 薩摩藩藩主 島津家的 分家宮之城島津家的 家臣家庭。戊辰戰(zhàn)爭期間參加薩摩藩軍，出征 奧羽（ 陸奧國· 出羽國）方面。 明治維新后任 東京府警察官，從 邏卒（ 巡警）累官至司法省少警部。明治8年（1875年）升任 警視廳 警部補。 征韓論之議后，薩摩出身的警察官集體辭官退隱故里，時隔不久，他與不平士族分道揚鑣，再次上京歸于大警視 川路利良麾下任警察官。明治10年（1877年） 西南戰(zhàn)爭中，大浦兼武率領 拔刀隊取得戰(zhàn)功，晉升為 陸軍中尉兼三等小警部。

1882年（明治14年），大浦兼武就任 大阪府警部長（今警察本部長）。1884年（明治17年）發(fā)生“松島事件”（陸軍士兵與警察官發(fā)生大規(guī)模武裝毆斗），大浦兼武身著軍服策馬飛馳現場，以雙方上官的身份對兩邊進行壓制，迅速平息事態(tài)，獲得了很高的評價。后調任 富山縣書記官。1888年（明治21年）升任警保局次長。在大阪時，得到山縣有朋的賞識和拔擢，成為山縣閥的得力干將。1892年（明治25年）2月15日在帝國議會（眾議員）第2回總選舉中，以鐵腕手段干涉選舉。

1893年（明治26年）3月21日——1895年（明治28年）3月27日任島根縣知事，1895年（明治28年）3月27日——1896年（明治29年）12月1日任山口縣知事，1896年（明治29年）12月1日——1898年（明治31年）7月28日 任熊本縣知事，1898年（明治31年）7月28日——1898年（明治31年）8月9日任宮城縣知事。1898年（明治31年）11月9日——1900年（明治33年）10月19日任警視廳 警視總監(jiān)。1900年（明治33年）3月19日任貴族院敕選議員。1901年（明治34年）6月2日——1903年（明治36年）9月22日再次任警視總監(jiān)。在警視總監(jiān)任內，他一方面為確立警察官的規(guī)則、整肅娼妓行業(yè)而盡力，另一方面，他是對敵對政治勢力進行政治偵查的總指揮。

1903年（明治36年）9月22日——1906年（明治39年）1月7日任第一次 桂太郎內閣遞信大臣，任內極力推動鐵道國有法案的立案和加速建成京釜鐵路（ 京釜線）。1908年（明治41年）7月14日——1911年（明治44年）8月30日任第二次桂太郎內閣農商務大臣，任內致力于設立帝國農會和制定工廠法。1912年（大正元年）12月21日——1913年（大正2年）2月20日任第三次桂太郎內閣內務大臣。1914年（大正3年）4月16日——1915年（大正4年）1月7日任第二次 大隈重信內閣農商務大臣，1915年（大正4年）1月9日——1915年（大正4年）7月30日 移任內務大臣，在議會解散后的第25回議會總選舉中，指揮 執(zhí)政聯盟（立憲同志會·中正會·大隈伯后援會）取得壓倒性多數。

1908年為對抗在議會去多絕對多數立憲政友會，領導組建官僚政黨“中央俱樂部”。第一次護憲運動（ 大正政變）后，參與創(chuàng)立藩閥元老的御用政黨立憲同志會。與 加藤高明為爭奪總裁而發(fā)生對抗，最終選舉以加藤高明為總理， 河野廣中、大石正巳、大浦兼武為總務委員的領導核心，1913年（大正2年）12月23日立憲同志會（后來相繼改組為憲政會和立憲民政黨）正式成立。

大浦兼武在大隈內閣內相任上，因違反和干涉選舉而接受調查，以及在農商務相任內，為使陸軍增加兩個師團及海軍造艦的擴軍法案能在國會審議時順利通過，通過當時眾議院秘書處秘書長林田龜太郎收買 在野黨議員的弊案被發(fā)覺，其政治生命終結，史稱“大浦事件”，而在其幕后有元老山縣有朋和軍部的深刻背景。

大浦事件對日本產生了深遠的影響。在司法上，案發(fā)后， 檢察機關以 賄賂罪嫌疑實施偵查。當時已轉任內務大臣的大浦在法務部長尾崎等人的勸說之下，決定辭去所有公職，并立誓今后絕不參與政治，退隱江湖。檢察官偵查終結后，對大浦予以不起訴處分。而相對從犯林田龜太郎及受賄議員等19人均被起訴，并被判決有罪。鑒于大浦確已構成行賄犯罪，且事實清楚，檢察官適用起訴裁量權作出的這一處分，招致輿論抨擊，稱檢察機關“縱放吞舟之魚”，致使“法律權威墜地”，等等。大浦事件的發(fā)生，對于日本 起訴便宜主義的立法化，起了重要的推動作用。

在政治上，大浦事件成了大隈重信內閣倒臺的催化劑。第2次大隈內閣虛有其表，名為政黨內閣，實則是元老會議一手扶持，正如 古島一雄所言“大隈內閣根本不行，只不過是官僚軍閥的爪牙而已，不仰山縣有朋之鼻息則一事無成”。在大選中失敗的政友會相繼就政府對華政策、大浦兼武內相在確定候選人時收受金錢賄賂、政府干涉選舉等問題對內閣提出不信任案，但都因執(zhí)政黨占據多數席位而被否決，反而通過了陸軍增加兩個師團案。但是，在上屆議會時大浦內相為增加陸軍案能獲通過而收買十幾名議員的事件被發(fā)覺而被迫辭職，這些都使大隈內閣失去國民信任，受到輿論猛烈批判。對元老們來說，壓制政友會、增加陸軍兩個師團兵力的目的都已達到，大隈內閣的御用任務已經完成。在另一個元老們期待的第四次日俄協(xié)約與秘密協(xié)定締結后，他們認為已沒有必要再為大隈內閣的崩潰踩剎車了。

1915年（大正4年）8月3日辭去貴族院議員，翌日隱居。1918年（大正7年）9月30日逝世，享年69歲。

曾任大日本武德會會長、日英博覽會總裁。

1906年（明治39年）4月1日- 旭日大綬章。

1906年（明治39年）4月1日 -明治三十七八年從軍紀念章。

1912年（大正元年）8月1日-韓國合并紀念章。

1915年（大正4年）11月10日-大禮紀念章。