生于德克薩斯弗洛雷斯維爾。1941年德克薩斯大學(xué)法學(xué)院畢業(yè)后，在海軍服役，任海軍部副部長的法律助理，第二次世界大戰(zhàn)期間在歐洲和太平洋戰(zhàn)場服役，曾跟隨艾森豪威爾登陸北非，后來在南太平洋的埃塞克斯號航母上當戰(zhàn)斗機飛行主任，參加過吉爾伯特、馬紹爾、硫磺島和菲律賓的戰(zhàn)斗，獲得過銅心勛章，1946年以少校退伍，回到華盛頓特區(qū)投身政界，作為參議員林登·約翰遜的助手，他在約翰遜1973年去世前一直是他的心腹。1961年任約翰·肯尼迪總統(tǒng)的海軍部長，在地中海指使第六艦隊對盟國意大利推行炮艦外交。1963-1969年連任三屆德克薩斯州州長，1963年肯尼迪遇刺時，同車隨行的他的左肩、手臂和大腿也受傷，他一直不相信沃倫委員會做出的兇手只有一個人的說法。越南戰(zhàn)爭期間，他是最強硬的硬派，要求約翰遜動用一切可以動用的手段，但約翰遜卻已經(jīng)沒有信心打下去了。1969年任白宮政府組織委員會委員，1971-1972年任理查德·尼克松政府財政部長，他不愿意接受這個職位，因為他說老布什更適合這個位置，結(jié)果尼克松把老布什打發(fā)到駐聯(lián)合國代表團去了。他在財長期間，最出名的就是美元貶值，以恢復(fù)美國的進出口平衡，增進500萬美國人的就業(yè)機會。亨利·基辛格曾指出，尼克松在背后唯一沒有指責的內(nèi)閣成員就是康納利。1972-1977年兩次擔任對外情報顧問委員會委員。

康納利原先是美國民主黨人，在水門事件后，副總統(tǒng)斯皮羅·阿格紐辭職，他轉(zhuǎn)投共和黨。當時都說他有野心當副總統(tǒng)繼承尼克松的位子，但后來尼克松選了一個老好人杰拉爾德·福特。1979年，他爭吵共和黨總統(tǒng)提名失敗，后來成為一家石油公司的董事長，但1986年申請破產(chǎn)。1990年海灣戰(zhàn)爭爆發(fā)的時候，他到巴格達勸說薩達姆釋放被關(guān)押的西方人質(zhì)。

20世紀70年代尼克松時期美國財政部長約翰·康納利的一句“至理名言”，再直白不過地道出了美元霸權(quán)給世界帶來的危害。他說：“美元是我們的貨幣，卻是你們(世界)的問題”。他說這番話的背景是，美元脫離金本位而大幅貶值。