父親是佐賀藩士。就讀于藩校弘道館，作為勤王派推進(jìn)藩政改革。明治維新后在新政府任職，歷任征士、參與、軍務(wù)官判事、東京府知事，為東京奠都盡力。明治3年任民部卿，制定戶籍法。明治4年（1871年）由民部卿轉(zhuǎn)任文部卿，制定學(xué)制。明治5年兼任教部卿。明治6年就任參議兼司法卿，在萩之亂、神風(fēng)連之亂后，對叛亂士族進(jìn)行處置。明治13年、18年兩任元老院議長。作為民法編纂總裁，主持相關(guān)法典的編纂。明治17年敘伯爵。明治21年任樞密顧問官。明治22年、25年兩任樞相。歷任第1次山縣內(nèi)閣司法相、第1次松方內(nèi)閣文部相。

1832年4月23日生于肥前國佐賀藩，是佐賀藩的45石的藩士大木知喬的長子。早年在藩校弘道館學(xué)習(xí)，并參與藩內(nèi)的勤王派的活動。1850年（嘉永3年）與副島種臣、島義勇等38位志士參加國學(xué)家枝吉神陽發(fā)起的義祭同盟（尊王攘夷的政治結(jié)社）。后與江藤新平、大隈重信倡導(dǎo)“尊皇攘夷”的藩論，提倡和推動藩政改革。由于藩主鍋島直正的親幕的態(tài)度使改革派沒有成為主流。但鍋島直正作為具有改革意識和精神的開明君主，非常賞識大隈重信、大木喬任和江藤新平等人的才能，當(dāng)他們受到保守派攻擊時，施以保護(hù)且大加提拔。后來義祭同盟的成員大多參加了后來的明治維新，發(fā)揮了重要作用。直到鳥羽伏見之戰(zhàn)，薩摩-長州兩藩取得勝利，一直處于搖擺觀望的肥前藩（佐賀藩）加入新政府軍一側(cè)成為倒幕運(yùn)動四強(qiáng)藩之一。

大政奉還、王政復(fù)古后，大木喬任與江藤新平、副島種臣一起出仕明治政府。慶應(yīng)4年閏4月4日（1868年5月25日）——慶應(yīng)4年閏4月21日（1868年6月11日）任徴士·參與職兼外國事務(wù)局判事。慶應(yīng)4年閏4月21日（1868年6月11日）任京都府判事。慶應(yīng)4年5月24日（1868年7月13日）——慶應(yīng)4年6月7日（1868年7月26日）任太政官議政官下局議長。慶應(yīng)4年7月12日（1868年8月29日）——明治2年5月15日（1869年6月24日）任太政官議政官上局參與。明治元年閏4月28日（1868年6月18日）——明治元年7月12日（8月29日）任軍務(wù)官判事。明治元年9月17日（1868年11月1日）兼任議事體裁取調(diào)御用掛。明治元年12月4日（1869年1月16日）——明治2年7月15日（1869年8月22日）任東京府知事。明治2年3月22日（1869年5月3日）兼任開墾掛。

慶應(yīng)4年（1868年）閏4月1日，大木喬任與江藤新平向輔相巖倉具視提出《東西兩都》建白書，建議遷都東京，在東京和京都之間鋪設(shè)連接?xùn)|西兩京的鐵路。明治元年（1868年）9月—10月，天皇御駕東幸（東京行幸），大木喬任受命隨行供奉。1869年（明治2年），日本正式在東京建都。明治2年7月15日（1869年8月22日）任東京府大參事，明治2年11月18日（1869年12月20日）任東京府權(quán)知事。

明治3年7月10日（1870年8月6日）——明治4年6月25日（1871年8月11日）任民部大輔（相當(dāng)于戶部左侍郎），明治4年7月2日（1871年8月17日） 任制度取調(diào)專務(wù)，明治4年7月4日（1871年8月19日）——明治4年7月14日（1871年8月29日）再任民部大輔。明治4年7月14日（1871年8月29日）——明治4年7月27日（1871年9月11日）任民部卿（相當(dāng)于戶部尚書）。大木喬任在戶籍編成的主導(dǎo)權(quán)上與大藏省的大隈重信（大藏大輔）對立，兩者的地租改革路線也相差甚遠(yuǎn)。大木喬任政治上屬大久保利通一派，在大久保利通的支持下，由民部大輔執(zhí)行戶籍法的制定。

民部省與大藏省的矛盾由來已久，明治2年8月11日（1869年9月16日），在主張建立稅收（民部�。┖拓斦�（大藏�。┮惑w化的中央集權(quán)機(jī)構(gòu)的民部大輔大隈重信、大藏少輔伊藤博文的強(qiáng)力推動下，民部省與大藏省一度合并，兩省卿以下至少丞以上官員跨省兼職者居多（大隈重信為民部兼大藏大輔，伊藤博文為民部兼大藏少輔），時稱“民部大藏省”。但是大久保利通、廣澤真臣、副島種臣、佐佐木高行四參議（宰相，相當(dāng)于平章事或參知政事）接受地方官提出兩省分離的要求，明治3年7月10日（1870年8月6日）在大久保利通的主導(dǎo)下，兩省再度分離，大木喬任入主民部省。大久保所主張的驅(qū)逐舊幕臣官吏沒有被認(rèn)可、租稅是否應(yīng)作為財政的一部分統(tǒng)歸大藏省負(fù)責(zé)的爭論使兩者之間的對立持續(xù)。戶籍法編制權(quán)之爭后，大久保利通、大隈重信、伊藤博文三人達(dá)成妥協(xié)，以推進(jìn)殖產(chǎn)興業(yè)為目的，明治3年閏10月20日（1870年12月12日）從民部省中分離出工部省。在大隈重信的反撲下，明治4年7月27日（1871年9月11日）民部省和大藏省統(tǒng)合為大部制的中央官廳大藏省，民部省被廢止。

1871年9月12日（明治4年7月28日）——1873年（明治6年）4月19日任文部卿，主持制定學(xué)制，學(xué)制起草中參考了歐美諸國的先進(jìn)的教育制度。明治5年8月2日（1872年9月4日）太政官頒布日本最初的近代學(xué)校制度的教育法令《學(xué)制令》，奠定了近代日本教育制度的基礎(chǔ)。1872年11月25日（明治5年10月25日）——1873年（明治6年）4月19日兼任教部卿，兼管宗教事務(wù)。

1873年（明治6年）4月19日——1885年（明治18年）12月22日任參議（宰相），在“明治六年政變”中屬內(nèi)治優(yōu)先派，反對“征韓論”。1873年（明治6年）10月25日——1880年（明治13年）2月28日兼任司法卿（原刑部卿，相當(dāng)于刑部尚書），1877年（明治10年）4月30日充民法編纂總裁，制定相關(guān)法典。1876年10月因不滿政府頒布“廢刀令”，不平士族在熊本掀起反對明治政府的武裝叛亂，史稱“神風(fēng)連之亂”，已經(jīng)引退的前參議兼兵部大輔前原一誠在山口縣萩發(fā)動叛亂，史稱“萩之亂”。叛亂被鎮(zhèn)壓后，時任司法卿的大木喬任制定《臨時暴徒處分例》（明治9年11月8日），適用于對叛亂分子的審判和懲處。

1880年（明治13年）2月28日——1881年（明治14年）10月21日兼任第2屆元老院議長，任內(nèi)提出具有國粹主義內(nèi)容的憲法意見。1881年（明治14年）10月21日——1883年（明治16年）12月12日再任司法卿。1883年（明治16年）12月12日——1885年（明治18年）12月22日復(fù)任文部卿。1885年12月22日（明治18年）——1888年（明治21年）4月30日任第5屆元老院議長。

1884年（明治17年）7月7日，日本華族令頒布實(shí)施，大木喬任以維新之功勛被敘爵為伯爵，列入華族。像大木喬任、大隈重信、伊藤博文這樣非公家·大名出身而授爵為華族者，被稱為新華族（亦稱功勛華族）。1888年（明治21年）4月30日——1889年（明治22年）12月24日任樞密顧問官。1889年（明治22年）12月24日——1891年（明治24年）6月1日任第2屆樞密院議長。1889年（明治22年）12月24日——1891年（明治24年）5月6日以樞府議長班列第一次山縣有朋內(nèi)閣（班列：無任所國務(wù)大臣），1890年（明治23年）12月25日——1891年（明治24年）2月7日臨時兼任山縣內(nèi)閣司法大臣。1891年（明治24年）2月7日任宮中顧問官。1891年（明治24年）5月6日——1891年（明治24年）6月1日任第一次松方正義內(nèi)閣班列。1892年（明治25年）6月1日——1892年（明治25年）8月8日任松方內(nèi)閣文部大臣（樞相辭任）。1890年（明治23年）在第一屆帝國議會上曾被提名為貴族院議長候選人，但結(jié)果山縣有朋力推伊藤博文就任。1892年（明治25年）8月8日——1893年（明治26年）3月11日任第4屆樞密院議長。1892年（明治25年）11月22日辭樞相，賜“前官禮遇”（重臣），11月23日任麝香間祗候。

1899年（明治32年）6月26日病死于東京，享年67歲。

1868年6月14日（慶應(yīng)4年閏4月24日）-從五位下。

1869年6月30日（明治2年5月21日）-從四位下。

1877年（明治10年）11月2日-勛一等旭日大綬章。

1884年（明治17年）7月7日-伯爵。

1884年（明治17年）12月27日-從三位。

1886年（明治19年）10月19日-從二位。

1896年（明治29年）6月20日-正二位。

1899年（明治32年）9月11日- 勛一等旭日桐花大綬章。沒后敘勛。

大木喬任與鍋島直正、佐野常民、島義勇、副島種臣、江藤新平、大隈重信并稱為“佐賀七賢”（活躍于江戶時代末期至明治時代的出身佐賀的七位偉人）。事實(shí)上，肥前藩在四大強(qiáng)藩中的地位幾近于湊數(shù)，人才之鼎盛，遠(yuǎn)不如水戶、熊本諸藩，值得提及的，區(qū)區(qū)“二大一江”三人而已。即：大木喬任、大隈重信和江藤新平，這三人中又首推最早提議遷都江戶、建立東京，曾任東京府初代知事的大木喬任。

大木喬任致力于確立教育制度和編纂法典，是日本近代教育制度和司法制度的奠基人，與森有禮、近藤真琴、中村正直、新島襄、福澤諭吉并稱為“明治六大教育家”（又稱“帝國六大教育家”）。

大木喬任素以誠實(shí)、廉潔、篤學(xué)的品格著稱，但從來就不是主流的政治力量。在藩閥政府中，唯有他與副島種臣作為肥前閥的頭面人物位居顯職。他以圓滑溫厚之人品在薩長兩藩的政治家中間進(jìn)行協(xié)調(diào)和斡旋，是佐賀藩出身的政治家的重要代表人物。

大木喬任的家族大木氏系出筑后國蒲池氏的一支、先祖為筑后宇都宮氏的宇都宮懷久的次子宇都宮資綱的嫡子大木政長（大木城城主），其孫大木統(tǒng)光是資綱之兄蒲池久憲（南北朝至室町時代武將）的后裔蒲池鎮(zhèn)漣（戰(zhàn)國時代至安土桃山時代武將、大名）的從兄弟和重臣，鎮(zhèn)漣被害后，統(tǒng)光成為浪人，后被鍋島氏招攬，其子孫世代在鍋島藩為臣。

大木喬任有一子二女，長子大木遠(yuǎn)吉世襲伯爵，曾任原敬內(nèi)閣、高橋是清內(nèi)閣司法大臣、加藤高明內(nèi)閣鐵道大臣。