公元572年六月，北齊后主派使者到梁州、兗州去，就地將斛律武都處死，又派中領(lǐng)軍賀拔伏恩乘驛車去捉拿斛律羨，仍舊以洛州行臺(tái)仆射中山人獨(dú)孤永業(yè)代替斛律羨，和大將軍鮮于桃枝征發(fā)定州的騎兵繼續(xù)前進(jìn)。賀拔伏恩等到幽州，守城門的人告訴斛律羨：“來的人內(nèi)穿衣甲，馬身有汗，應(yīng)當(dāng)關(guān)閉城門�！滨�律羨說：“怎能懷疑皇上派來的使者把他們拒之城外！”便出城會(huì)見使者。賀拔伏恩將他捉住處死。當(dāng)初，斛律羨時(shí)常為一家權(quán)勢太大而懼怕，曾經(jīng)上表請求解除自己的職務(wù)，后主不許。臨刑時(shí)，他嘆息說：“如此富貴，女兒是皇后，滿家是公主，日常使用三百名士兵，怎能不�。　彼�的五個(gè)兒子斛律伏護(hù)、斛律世達(dá)、斛律世遷、斛律世辨、斛律世酋都被處死。

公元576年十二月，甲寅（初十），開府儀同三司賀拔伏恩等宿衛(wèi)近臣三十多人向西投奔北周軍隊(duì)，北周國主對他們分別封賞。庚申（十六日），北齊后主進(jìn)入鄴城。北周軍隊(duì)包圍了晉陽，他們的軍衣和旗幟都是黑色，所以城的四面就像黑云一般。安德王高延宗命令莫多婁敬顯、韓骨胡在城南抵抗，和阿干子、段暢在城東抵抗，自己率領(lǐng)眾軍在城北抵抗北周的齊王宇文憲。高延宗身體肥胖，前看象仰面朝天，后看像俯伏在地，人們常常取笑他的模樣。這時(shí)，他揮舞長矛來回督戰(zhàn)，強(qiáng)勁有力敏捷得象飛一般，指向哪里，誰也抵擋不住。和阿干子、段暢率領(lǐng)一千騎兵直奔北周的軍隊(duì)。北周國主進(jìn)攻晉陽的東門，當(dāng)時(shí)天色昏暗，便進(jìn)到城里，放火焚燒城里的佛廟。高延宗、莫多婁敬顯從城門進(jìn)入，兩面夾擊，北周軍隊(duì)大亂，爭著逃出城門，城門間人群填塞擠壓，堵住了道路無法前進(jìn)。北齊人從后刀砍矛刺，北周軍隊(duì)死了二千多人。北周國主左右的人幾乎都已死散，自己走投無路。承御上士張壽牽著馬頭，賀拔伏恩用鞭子抽打馬的后部，困難艱險(xiǎn)地出了城。齊人奮勇追擊，幾乎打中了他。晉陽城東的道路狹隘彎曲，賀拔伏恩和投降北周的皮子信在前面帶路，這才幸免于死，這時(shí)已經(jīng)是深夜四更。高延宗以為北周國主已經(jīng)被亂兵所殺，派人在堆積的尸體中尋找留有長胡須的人，沒有找到。當(dāng)時(shí)北齊人打了勝仗，到街坊間飲酒，都喝醉了睡在地上，高延宗無法整理隊(duì)伍。