趙貴的曾祖父趙達，曾任北魏庫部尚書，封爵臨晉子。祖父趙仁，以良家子弟的身份鎮(zhèn)守武川（今內蒙古武川），并安家武川。趙貴從小就聰慧過人，有志節(jié)氣概。

北魏孝昌年間（525年—528年），天下戰(zhàn)亂，趙貴帶領鄉(xiāng)人南遷避難。正值葛榮攻陷中山，于是趙貴被拘禁。葛榮失敗后，爾朱榮任命趙貴為別將，隨從征討元顥有功，賜爵燕樂縣子，授官伏波將軍、武賁中郎將。又跟隨賀拔岳平定關中，賜爵魏平縣伯，食邑五百戶。多次升遷至鎮(zhèn)北將軍、光祿大夫、都督。

永熙三年（534年），鎮(zhèn)守關中的賀拔岳被侯莫陳悅設計殺害后，將領官吏各自逃散，沒有人忠于職守。趙貴對他的親信們說：“我聽說仁義之道難以持之以恒，能遵守它就是君子，違背它就是小人。朱伯厚、王叔治受到賀拔公的小小恩惠，尚且能保持名望節(jié)操，何況賀拔公對我們待以國士之禮，難道能混同于其他人嗎？”說到這里，趙貴痛哭流涕。于是有五十人隨從趙貴，到侯莫陳悅處假裝投降，侯莫陳悅信以為真。趙貴乘機請求為賀拔岳收葬，言詞慷慨。侯莫陳悅認為他很有勇氣，答應了他的請求。

趙貴等人收殮賀拔岳的尸體而歸，與寇洛等人糾集部眾，逃往平?jīng)�，共同商議抗拒侯莫陳悅。趙貴首先提議迎接賀拔岳部將宇文泰為原賀拔岳部眾的首領。宇文泰來到賀拔軍中之后，任命趙貴為大都督，兼任府司馬。同年，侯莫陳悅被平定后，趙貴以原來的軍職代理秦州政務，擔任秦州大都督。趙貴治事清平恬靜，百姓和下屬官吏都很愛戴他。

主詞條：北魏孝武帝西遷

永熙三年（534年）十月，高歡發(fā)兵進攻洛陽，派都督韓軌進占蒲坂。宇文泰任命趙貴為行臺，與梁御等人率軍征討。還沒有渡過黃河，而北魏孝武帝元修已經(jīng)西入函谷關。趙貴被孝武帝任命為車騎大將軍、儀同三司，兼任右衛(wèi)將軍。當時曹泥據(jù)守靈州抵抗，趙貴擔任大都督，與李弼等人率軍征討。趙貴晉封侯爵，食邑增加五百戶。同年十二月，宇文泰因與孝武帝發(fā)生沖突，派人鳩殺孝武帝元修，立元寶炬為帝。

大統(tǒng)元年（535年），趙貴因參與奉立西魏文帝元寶炬的功勞，晉封公爵，食邑增至一千五百戶，不久任岐州刺史。當時因為軍國大事繁多，宇文泰要借助趙貴的力量，便沒有讓他前往岐州就職。并仍然兼任大丞相府左長史，加散騎常侍銜。

大統(tǒng)元年（535年），宕昌國（今甘肅宕昌縣西）君主梁仚定在河西叛亂，西魏朝廷任命趙貴為隴西行臺，同侯莫陳順等人率軍將其擊敗。大統(tǒng)三年（537年），趙貴跟隨宇文泰收復弘農(nóng)，攻克沙苑，因功被任命為侍中、驃騎大將軍、開府儀同三司、雍州刺史，晉封中山郡公。大統(tǒng)四年（538年），宇文泰與高歡征戰(zhàn)河橋，趙貴與怡峰為左軍，作戰(zhàn)失利，率先退回。

大統(tǒng)十二年（546年），趙貴跟隨宇文泰支援玉壁，在玉璧之戰(zhàn)中迫使東魏權臣高歡逃走。高仲密獻出北豫州歸降西魏，宇文泰率軍迎接，在邙山與東魏軍隊作戰(zhàn)。趙貴為左軍，作戰(zhàn)失利，導致全軍潰敗。趙貴因罪被罷免官職，以驃騎、大都督銜統(tǒng)率本部兵馬。

大統(tǒng)十五年（549年），趙貴恢復官爵，任御史中尉，加大將軍銜。東魏將領高岳、慕容紹宗等把王思政包圍在潁川，趙貴率軍支援，東南各州兵馬也歸趙貴調度。東魏軍堵住洧水來灌潁川城，援軍無法靠近，王思政全軍覆沒，趙貴撤軍返回。不久任柱國大將軍，賜姓乙弗。柔然侵犯廣武，趙貴將其擊敗，斬殺數(shù)千柔然士兵，繳獲其軍用物資，整頓軍隊凱旋而回。六官建立后，任命趙貴為太保、大宗伯，改封南陽郡公。

西魏恭帝三年（556年），西魏恭帝拓跋廓被迫禪位于宇文泰之子宇文覺。次年，宇文覺正式即位，建立北周，是為孝閔帝。升任趙貴為太傅、大冢宰，晉封楚國公，食邑一萬戶。

宇文泰在世之時，趙貴與獨孤信等人都與宇文泰的地位資歷相等。孝閔帝宇文覺即位后，晉公宇文護把持朝政，趙貴自認為是元勛重臣，對此憤憤不平，便與獨孤信策劃殺死宇文護。到了約定日期，趙貴準備動手，獨孤信卻制止了他。不久，被開府宇文盛告發(fā)，遭到宇文護殺害。

大統(tǒng)元年（535年），羌族宕昌國的君主梁仚定入侵西魏，西魏任命趙貴為隴西行臺，趙貴同侯莫陳順等人率軍擊敗梁仚定。大統(tǒng)十五年（549年），柔然侵犯廣武，趙貴將其擊敗，斬殺數(shù)千柔然士兵，繳獲其軍用物資，整頓軍隊凱旋而回。

趙貴對于宇文泰鞏固關隴政權、建立北周都有很大的貢獻，故而位列八柱國之一。趙貴在爾朱榮執(zhí)政時期為別將，永安三年（530年）跟隨賀拔勝討伐元顥有功，賜爵燕樂縣子，授伏波將軍、武賁中郎將。后從賀拔岳平關中。西魏大統(tǒng)三年（537年），趙貴跟隨宇文泰收復弘農(nóng)，在沙苑之戰(zhàn)中也立下了汗馬功勞。西魏軍在沙苑（今陜西大荔南）地區(qū)設伏。閏九月，東魏丞相高歡率20萬大軍經(jīng)蒲津（今山西永濟蒲州鎮(zhèn)黃河渡口）西渡黃河反擊西魏，企圖奪取長安（今西安西北），宇文泰率兵背水東西列陣，以趙貴為左翼，選擇駐地以東10里葦深土濘的渭曲設伏，令將士皆偃戈于蘆葦中，聞鼓聲即起。兩軍將交，宇文泰擊鼓，伏兵驟起，奮勇沖殺。趙貴率西魏軍追至黃河邊，斬俘8萬人。