高市貴，善無人也。少有武用。孝昌初，恒州內(nèi)部敕勒劉侖等聚眾反，市貴為都督，率眾討侖，一戰(zhàn)破之。累遷撫軍將軍、諫議大夫。及爾朱榮立魏莊帝，高貴預翼戴之勛，遷衛(wèi)將軍、光祿大夫、秀容大都督、第一領(lǐng)民酋長，賜爵上洛縣伯。爾朱榮擊葛榮于滏口，以市貴為前鋒都督。榮平，除使持節(jié)、汾州刺史，尋為晉州刺史。紇豆陵步藩之侵亂并州也，高祖破之，市貴亦從行有功，除驃騎大將軍、儀同三司，封常山郡公，邑一千五百戶。高祖起義，市貴預其謀。及樊子鵠據(jù)州反，隨大都督婁昭討之。