1961年07月——1964年11月，任陸軍戰(zhàn)士、班長；

1964年11月——1966年12月，任陸軍機(jī)槍連排長；

1966年12月——1969年08月，任陸軍某團(tuán)司令部參謀；

1969年08月——1973年01月，任陸軍副營長；

1973年01月——1973年11月，任陸軍第201師司令部作訓(xùn)科參謀；

1973年11月——1976年06月，任陸軍602團(tuán)副團(tuán)長；

1976年06月——1979年03月，陸軍201師副師長（1978年3月至1979年7月，中國人民解放軍軍事學(xué)院基本系學(xué)習(xí)）；

1979年03月——1980年09月，陸軍201師副師長、代理師長；

1980年09月——1983年05月，陸軍201師師長；

1983年05月——1985年09月，陸軍第67軍副軍長；

1985年09月——1986年12月，陸軍第67集團(tuán)軍副軍長；

1986年12月——1995年07月，陸軍第23集團(tuán)軍黨委副書記、軍長（1987年8月至12月，國防大學(xué)進(jìn)修系學(xué)習(xí)）；

1995年07月——1996年11月，沈陽軍區(qū)黨委常委、參謀長；

1996年11月——2005年12月，沈陽軍區(qū)黨委常委、副司令員；

1988年9月被授予少將軍銜。1996年晉升為中將軍銜。

中國共產(chǎn)黨第十四、十五、十六次全國代表大會(huì)代表，中國共產(chǎn)黨第十四、十五、十六屆中央委員會(huì)候補(bǔ)委員，第七屆全國人大代表，政協(xié)十一屆全國委員會(huì)常務(wù)委員。

2016年3月20日，原沈陽軍區(qū)副司令員吳玉謙同志因病在沈陽逝世，享年73歲。

吳玉謙歷任戰(zhàn)士、班長、排長、參謀、副營長、副團(tuán)長、副師長、師長、副軍長、軍長、沈陽軍區(qū)參謀長等職，為部隊(duì)革命化、現(xiàn)代化、正規(guī)化建設(shè)作出了貢獻(xiàn)。