胡謙遜1987年出生于樂(lè)清市柳市鎮(zhèn)蟾河堡村，小學(xué)畢業(yè)那一年暑假，胡謙遜想要到樂(lè)清市業(yè)余體校鍛煉身體，因?yàn)橛X(jué)得拳擊好玩，便選擇了這個(gè)項(xiàng)目訓(xùn)練，跟著教練夏勝海集訓(xùn)了兩周。后來(lái)，溫州競(jìng)技體校來(lái)選材，年僅12歲的胡謙遜被一眼相中，進(jìn)入該校念初中，并跟隨拳擊教練孫張杰訓(xùn)練。那年與胡謙遜一同進(jìn)入溫州競(jìng)技體校學(xué)習(xí)拳擊的孩子有100多個(gè)，教練孫張杰回憶，這批孩子中，胡謙遜的表現(xiàn)最突出。雖然他平時(shí)不太愛(ài)說(shuō)話，但訓(xùn)練起來(lái)特別能吃苦，毅力很強(qiáng)。

2002年，在省運(yùn)會(huì)54公斤級(jí)拳擊比賽中，胡謙遜奪得冠軍，那年他才15歲。

2004年下半年，胡謙遜進(jìn)入北京武警政治部體工隊(duì)，成為一名真正的職業(yè)拳擊運(yùn)動(dòng)員，在這個(gè)匯聚全國(guó)高手的隊(duì)伍里接受更加精深的訓(xùn)練。與此同時(shí)，他在全國(guó)各大拳擊賽事中大顯身手，收獲了諸多榮譽(yù)，曾拿下全國(guó)錦標(biāo)賽冠軍和亞軍、全國(guó)冠軍賽亞軍。

2016年4月2日，在河北省遷安市舉行的里約奧運(yùn)會(huì)拳擊項(xiàng)目亞大區(qū)資格賽決賽上，中國(guó)選手胡謙遜戰(zhàn)勝吉爾吉斯斯坦選手Sakenov Ermek，獲得又一張奧運(yùn)“門(mén)票”。男子64公斤級(jí)決賽上，胡謙遜在對(duì)陣吉爾吉斯斯坦選手Sakenov Ermek時(shí)，發(fā)揮出了他出拳速度快、在移動(dòng)中快速進(jìn)攻的優(yōu)點(diǎn)，最終以2：1獲勝。

2016年7月18日，2016年里約熱內(nèi)盧奧運(yùn)會(huì)中國(guó)奧運(yùn)代表團(tuán)成立，胡謙遜名列出征拳擊運(yùn)動(dòng)員名單。

2016年8月15日，2016年里約奧運(yùn)會(huì)拳擊項(xiàng)目繼續(xù)進(jìn)行。在里約會(huì)議中心6號(hào)館，中國(guó)選手胡謙遜上演逆轉(zhuǎn)好戲，經(jīng)過(guò)三回合較量，以2-1擊敗來(lái)自亞美尼亞的巴奇科夫，躋身男子輕沉量級(jí)（64KG）八強(qiáng)。

2016年12月28日，被體育總局授予2016年度體育運(yùn)動(dòng)一級(jí)獎(jiǎng)?wù)隆?/p>

2017年4月18日，2017年中國(guó)拳王爭(zhēng)霸賽在四川省涼山彝族自治州西昌民族體育館開(kāi)打。第五場(chǎng)壓軸之戰(zhàn)是中國(guó)拳王賽的64公斤級(jí)衛(wèi)冕之戰(zhàn)，五個(gè)回合過(guò)后，王港沒(méi)讓胡謙遜復(fù)仇成功，3比0再次獲勝，衛(wèi)冕中國(guó)拳王稱號(hào)。