生于德克薩斯弗洛雷斯維爾。1941年德克薩斯大學(xué)法學(xué)院畢業(yè)后，在海軍服役，任海軍部副部長(zhǎng)的法律助理，第二次世界大戰(zhàn)期間在歐洲和太平洋戰(zhàn)場(chǎng)服役，曾跟隨艾森豪威爾登陸北非，后來(lái)在南太平洋的埃塞克斯號(hào)航母上當(dāng)戰(zhàn)斗機(jī)飛行主任，參加過(guò)吉爾伯特、馬紹爾、硫磺島和菲律賓的戰(zhàn)斗，獲得過(guò)銅心勛章，1946年以少校退伍，回到華盛頓特區(qū)投身政界，作為參議員林登·約翰遜的助手，他在約翰遜1973年去世前一直是他的心腹。1961年任約翰·肯尼迪總統(tǒng)的海軍部長(zhǎng)，在地中海指使第六艦隊(duì)對(duì)盟國(guó)意大利推行炮艦外交。1963-1969年連任三屆德克薩斯州州長(zhǎng)，1963年肯尼迪遇刺時(shí)，同車隨行的他的左肩、手臂和大腿也受傷，他一直不相信沃倫委員會(huì)做出的兇手只有一個(gè)人的說(shuō)法。越南戰(zhàn)爭(zhēng)期間，他是最強(qiáng)硬的硬派，要求約翰遜動(dòng)用一切可以動(dòng)用的手段，但約翰遜卻已經(jīng)沒(méi)有信心打下去了。1969年任白宮政府組織委員會(huì)委員，1971-1972年任理查德·尼克松政府財(cái)政部長(zhǎng)，他不愿意接受這個(gè)職位，因?yàn)樗�說(shuō)老布什更適合這個(gè)位置，結(jié)果尼克松把老布什打發(fā)到駐聯(lián)合國(guó)代表團(tuán)去了。他在財(cái)長(zhǎng)期間，最出名的就是美元貶值，以恢復(fù)美國(guó)的進(jìn)出口平衡，增進(jìn)500萬(wàn)美國(guó)人的就業(yè)機(jī)會(huì)。亨利·基辛格曾指出，尼克松在背后唯一沒(méi)有指責(zé)的內(nèi)閣成員就是康納利。1972-1977年兩次擔(dān)任對(duì)外情報(bào)顧問(wèn)委員會(huì)委員。

康納利原先是美國(guó)民主黨人，在水門事件后，副總統(tǒng)斯皮羅·阿格紐辭職，他轉(zhuǎn)投共和黨。當(dāng)時(shí)都說(shuō)他有野心當(dāng)副總統(tǒng)繼承尼克松的位子，但后來(lái)尼克松選了一個(gè)老好人杰拉爾德·福特。1979年，他爭(zhēng)吵共和黨總統(tǒng)提名失敗，后來(lái)成為一家石油公司的董事長(zhǎng)，但1986年申請(qǐng)破產(chǎn)。1990年海灣戰(zhàn)爭(zhēng)爆發(fā)的時(shí)候，他到巴格達(dá)勸說(shuō)薩達(dá)姆釋放被關(guān)押的西方人質(zhì)。

20世紀(jì)70年代尼克松時(shí)期美國(guó)財(cái)政部長(zhǎng)約翰·康納利的一句“至理名言”，再直白不過(guò)地道出了美元霸權(quán)給世界帶來(lái)的危害。他說(shuō)：“美元是我們的貨幣，卻是你們(世界)的問(wèn)題”。他說(shuō)這番話的背景是，美元脫離金本位而大幅貶值。