杰伊出生于紐約的一個(gè)富有家庭，他在國(guó)王學(xué)院（后來(lái)的哥倫比亞大學(xué)的前身）就讀后與 羅伯特·利文斯頓一起在紐約作律師。

　　杰伊在紐約建立了自己的聲名，因此被選為第一次和第二次 大陸會(huì)議的議員。這兩次會(huì)議的內(nèi)容是討論美洲殖民地是否應(yīng)該從英國(guó)獨(dú)立。從1778年12月10日到1779年9月27日他被選為大陸會(huì)議的第五任主席。此后他成為美國(guó)革命最重要的外交官之一出使西班牙，他還調(diào)停了西班牙與法國(guó)之間的和平。

　　1784年杰伊被委任為外交國(guó)務(wù)秘書(shū)，即后來(lái)的國(guó)務(wù)卿。

　　但是《聯(lián)邦章程》所規(guī)定的聯(lián)邦政府實(shí)際上無(wú)法工作。杰伊、漢密爾頓和麥迪遜稱(chēng)為章程的批評(píng)人。杰伊認(rèn)為章程中規(guī)定的政府太軟弱，無(wú)法有效地實(shí)行政府工作。他考慮道：

　　聯(lián)邦章程規(guī)定國(guó)會(huì)有權(quán)宣戰(zhàn)，但卻無(wú)權(quán)征募士兵或金錢(qián)來(lái)維持作戰(zhàn)的需要；它有權(quán)議和，但卻無(wú)權(quán)控制和平條約的滿(mǎn)足；它有權(quán)結(jié)盟，卻無(wú)權(quán)完成聯(lián)盟的義務(wù)；它有權(quán)簽署貿(mào)易條約，卻無(wú)權(quán)在國(guó)內(nèi)外遵守條約。一句話，它可以顧問(wèn)、勸告、要求和請(qǐng)求。誰(shuí)愿意可以去理會(huì)它。

　　杰伊本人沒(méi)有參加費(fèi)城會(huì)議，但他與漢密爾頓和麥迪遜一起主張建立一個(gè)新的、更有權(quán)的、中央的、但依然平衡的政府。他們一起寫(xiě)了《聯(lián)邦黨人文集》，這個(gè)文集中共有85篇說(shuō)服公民接受美國(guó)憲法的文章。杰伊寫(xiě)了其中五篇。

　　1789年喬治·華盛頓委任杰伊為最高法院首席法官。杰伊和其他法官?zèng)Q定州政府必須服從聯(lián)邦政府。對(duì)這個(gè)決定不滿(mǎn)的人后來(lái)在美國(guó)憲法第11次修改案中達(dá)到了個(gè)人無(wú)法向最高法院起訴控告一個(gè)州。

　　1794年杰伊作為特使前往英國(guó)來(lái)商議避免戰(zhàn)爭(zhēng)的新條約。這個(gè)條約后來(lái)被稱(chēng)為杰伊條約。杰伊本人和美國(guó)政府都認(rèn)為這是當(dāng)時(shí)能夠達(dá)成的最好的條約了。華盛頓和國(guó)會(huì)（持保留態(tài)度并要求修改后）簽署了這個(gè)條約，雖然如此許多人反對(duì)這個(gè)條約，使得杰伊也非常不受歡迎。杰伊有一次說(shuō)他可以藉著焚燒他的肖像的光從波士頓去費(fèi)城。這個(gè)條約顯然也使杰伊被選為美國(guó)總統(tǒng)的可能性消失了。

　　杰伊還在英國(guó)時(shí)就被選為紐約州的州長(zhǎng)。他退出最高法院，之后一直到1800年為止，擔(dān)任州長(zhǎng)。此后約翰·亞當(dāng)斯總統(tǒng)再次提名他為法官，國(guó)會(huì)也很快就批準(zhǔn)了這個(gè)提名，但杰伊以自己的健康不良和“法庭缺乏它支持國(guó)家政府所需要的能量、重要性和威嚴(yán)”為由拒絕了。

　　雖然杰伊贏得了1802年的州長(zhǎng)選舉，他還是辭職了。他退出政界回到他在紐約州威切斯特郡的莊園上。今天他的故居和部分他的莊園是一個(gè)博物館。

　　1829年5月15日杰伊逝世于他的莊園上，他被葬在他兒子的莊園上，這里今天也是一個(gè)博物館。

　　紐約州有一個(gè)小城、印第安納州有一個(gè)郡以杰伊命名。紐約城大學(xué)的一個(gè)法學(xué)院也以杰伊命名。