崔謙，字士遜，博陵安平人也。祖辯，魏平遠將軍、武邑郡守。父楷，散騎常侍、光祿大夫、殷州刺史，贈侍中、都督冀定相三州諸軍事、驃騎大將軍、儀同三司、冀州刺史。謙幼聰敏，神彩嶷然。及長，深沉有識量。歷觀經(jīng)史，不持章句，志在博聞而已。每覽經(jīng)國緯民之事，心常好之，未嘗不撫卷嘆息。孝昌中，解褐著作佐郎。從太宰元天穆討邢杲，破之，以功授輔國將軍、太中大夫，遷平東將軍、尚書殿中郎。

賀拔勝出鎮(zhèn)荊州，以謙為行臺左丞。勝雖居方岳之任，至于安輯夷夏，綱紀眾務(wù)，皆委謙焉。謙亦盡其智能，以相匡弼。勝有聲南州，謙之力也。及魏孝武將備齊神武之逼，乃詔勝引兵赴洛。軍至廣州，帝已西遷。勝乃遲疑，將旋所鎮(zhèn)。謙謂勝曰：“昔周室不造，諸侯釋位；漢道中微，列藩盡節(jié)。今皇家多故，主上蒙塵，實忠臣枕戈之時，義士立功之日也。公受方面之重，總宛、葉之眾，若杖義而動，首唱勤王，天下聞風，孰不感激。誠宜順義勇之志，副遐邇之心，倍道兼行，謁帝關(guān)右。然后與宇文行臺，同心協(xié)力，電討不庭。則桓、文之勛，復(fù)興于茲日矣。舍此不為，中道而退，便恐人皆解體，士各有心。一失事機，后悔何及。”勝不能用，而人情果大騷動。還未至州，州民鄧誕引侯景軍奄至，勝與戰(zhàn)，敗績，遂將麾下數(shù)百騎南奔于梁。謙亦與勝俱行。及至梁，每乞師赴援。梁武帝雖不為出軍，而嘉勝等志節(jié)，并許其還國。乃分謙先還，且通鄰好。魏文帝見謙甚悅，謂之曰：“卿出萬死之中，投身江外，今得生還本朝，豈非忠貞之報也。”太祖素聞謙名，甚禮之。乃授征西將軍、金紫光祿大夫，賜爵千乘縣男。及勝至，拜太師，以謙有毗輔之功，又授太師長史。

大統(tǒng)三年，從太祖擒竇泰，戰(zhàn)沙苑，并有功。進爵為子，遷車騎大將軍、右光祿大夫，拜尚書右丞。謙明練時事，及居樞轄，時論以為得人。四年，從太祖解洛陽圍，仍經(jīng)河橋戰(zhàn)，加定州大中正、瀛州刺史。十五年，授車騎大將軍、儀同三司，又破柳仲禮于隨郡，討平李遷哲于魏興，并有功。進驃騎大將軍、開府儀同三司、直州刺史，賜姓宇文氏。魏恭帝初，轉(zhuǎn)利州刺史。謙性明悟，深曉政術(shù)，又勤于理務(wù)，民訟雖繁，未嘗有懈倦之色。吏民以是敬而愛之。時有蜀人賈晃遷舉兵作亂，率其黨圍逼州城。謙倉卒分部，才得千許人，便率拒戰(zhàn)。會梁州援兵至，遂擒晃遷，余人乃散。謙誅其渠帥，余并原之。旬日之間，遂得安輯。世宗初，進爵作唐縣公。保定二年，遷安州總管、隨應(yīng)等十一州甑山上明魯山三鎮(zhèn)諸軍事、安州刺史。四年，加大將軍，進爵武康郡公。

天和元年，授江陵總管。三年，遷荊州總管、荊淅等十四州南陽平陽等八防諸軍事、荊州刺史。州既統(tǒng)攝遐長，俗兼夷夏，又南接陳境，東鄰齊寇。謙外御強敵，內(nèi)撫軍民，風化大行，號稱良牧。每年考績，常為天下最，屢有詔褒美焉。謙隨賀拔勝之在荊州也，雖被親遇，而名位未顯。及踐其位，朝野以為榮。四年，卒于州。闔境痛惜之，乃共立祠堂，四時祭饗。子曠嗣。

謙性至孝，少喪父，殆將滅性。與弟說特相友愛，雖復(fù)年事并高，名位各重，所有資產(chǎn)，皆無私焉。其居家嚴肅，動遵禮度。曠與說子弘度等，并奉其遺訓(xùn)云。曠少溫雅，仁而泛愛。釋褐中外府記室。大象末，位至開府儀同大將軍，淅州刺史。

賀拔勝出鎮(zhèn)荊州，以謙為行臺左丞。

大統(tǒng)三年，從太祖擒竇泰，戰(zhàn)沙苑，并有功。