黃謙自幼聰明穎悟，不茍嬉笑玩樂。年方十六，即補(bǔ)郡秀才。平時，喜作新詩，而且多奇詞巧句。許多先輩、詩家讀到他的作品，“咸驚異之”，以為奇才。嘉靖癸卯年（1543）首考獲省試第三名。庚戌年（1560）登進(jìn)士第，授宣城縣令。

在宣城任上,他以愛民重士為己任,治政從不求苛細(xì)。鄉(xiāng)下村民到縣衙投牒告狀,他都即刻查議辦理,從不隨意拖延時日,而且斷案公正,宣城百姓因此十分敬重他。

數(shù)年后，黃謙升任戶科給事中。當(dāng)時，嘉靖皇帝荒于朝政，長期不理朝事，不見朝臣，一味信道修煉，鬧得天下一片混亂。北方的俺答乘機(jī)率兵侵?jǐn)_攻伐，到處燒殺劫掠，邊境之民深受其害，而明軍邊防松弛，一觸即潰。黃謙針對此情，連上三疏，細(xì)陳邊儲三事，請求免除邊境災(zāi)民連年來拖欠的數(shù)萬石租糧，以鞏固邊境的安定。奏疏所列數(shù)項建言，后來，全得恩準(zhǔn)實行。幾年后，他再升刑科右給事中，又接連上疏，彈劾糾正種種積弊，一點也無所避忌。當(dāng)時，嚴(yán)嵩剛奪取首輔之位，大肆結(jié)黨營私，培植爪牙，打擊忠良，鬧得朝野一片烏煙瘴氣。

當(dāng)時，東南沿海倭人不斷發(fā)動侵?jǐn)_，狼煙四起，警報如雪片般地飛到朝廷，嘉靖帝詔命南京兵部尚書張經(jīng)率兵剿倭。而嚴(yán)嵩卻派死黨趙文華到江浙擔(dān)任通政使。趙文華一到任，就依仗嚴(yán)嵩的威勢，一面誣告陷害張經(jīng)，一面又依持手中權(quán)勢，作威作福，乘機(jī)漁利，巧立名目，大肆勒索，克扣前線將吏的餉銀，中飽私囊。數(shù)省郎官聯(lián)名上疏，控告揭發(fā)趙文華劣跡。黃謙也在奏疏上署名支持，嚴(yán)嵩因此怨恨他，但是，找不到罪名。后來，剛好有個叫李默的太宰因為慷直冒犯嚴(yán)嵩，嚴(yán)嵩就嗾使趙文華上疏誣告李默，并將李默下獄治罪，又趁機(jī)大規(guī)模貶逐朝中大臣，黃謙也在貶逐之列。黃謙聞訊，坦然仰天大笑，說：“古災(zāi)異策免三公，今乃以黃門郎當(dāng)之邪？吾因李公免，亡恨矣�！庇谑菞壒俣奸T。

黃謙回家后，以文、酒自娛，或藝蔬于田間，或讀書于庭院，沒有一點失落之態(tài)。后來，還與致仕在家的給事中方萬有、參議鄭光琬等人共結(jié)詩社，互相唱酬。

家鄉(xiāng)河渠多，但因年久失修，往往堙廢。黃謙親自上府縣告白當(dāng)?shù)�，撥款疏浚，廣蓄水源。這樣，既可便利農(nóng)田灌溉，又可方便水上運(yùn)輸，一舉兩得。鄰近的卅六鄉(xiāng)百姓大得其利，都十分感激他，特地在河邊建立祠堂紀(jì)念他。其后，他又積極與地方官員商討地方鹽政，籌劃海警等事務(wù)。

當(dāng)時，有官田，有民田之分，而官府征收的田賦卻不相同，官田輕，而民田重，老百姓的農(nóng)田常常被課以重稅，黃謙得知實情，又向府縣官員力倡實行官民均等交賦之法，以穩(wěn)定民心，終于得到實行。諸如此類的公益之事，還有很多，凡是有利于老百姓的事，他都鼎力促成它。

黃謙平生好詩文，著有《萬玉山藏稿》十六卷，行于世。萬歷辛卯年（1591）去世，享年七十三歲。