公元572年六月，北齊后主派使者到梁州、兗州去，就地將斛律武都處死，又派中領(lǐng)軍賀拔伏恩乘驛車去捉拿斛律羨，仍舊以洛州行臺仆射中山人獨孤永業(yè)代替斛律羨，和大將軍鮮于桃枝征發(fā)定州的騎兵繼續(xù)前進。賀拔伏恩等到幽州，守城門的人告訴斛律羨：“來的人內(nèi)穿衣甲，馬身有汗，應(yīng)當關(guān)閉城門。”斛律羨說：“怎能懷疑皇上派來的使者把他們拒之城外！”便出城會見使者。賀拔伏恩將他捉住處死。當初，斛律羨時常為一家權(quán)勢太大而懼怕，曾經(jīng)上表請求解除自己的職務(wù)，后主不許。臨刑時，他嘆息說：“如此富貴，女兒是皇后，滿家是公主，日常使用三百名士兵，怎能不��！”他的五個兒子斛律伏護、斛律世達、斛律世遷、斛律世辨、斛律世酋都被處死。

公元576年十二月，甲寅（初十），開府儀同三司賀拔伏恩等宿衛(wèi)近臣三十多人向西投奔北周軍隊，北周國主對他們分別封賞。庚申（十六日），北齊后主進入鄴城。北周軍隊包圍了晉陽，他們的軍衣和旗幟都是黑色，所以城的四面就像黑云一般。安德王高延宗命令莫多婁敬顯、韓骨胡在城南抵抗，和阿干子、段暢在城東抵抗，自己率領(lǐng)眾軍在城北抵抗北周的齊王宇文憲。高延宗身體肥胖，前看象仰面朝天，后看像俯伏在地，人們常常取笑他的模樣。這時，他揮舞長矛來回督戰(zhàn)，強勁有力敏捷得象飛一般，指向哪里，誰也抵擋不住。和阿干子、段暢率領(lǐng)一千騎兵直奔北周的軍隊。北周國主進攻晉陽的東門，當時天色昏暗，便進到城里，放火焚燒城里的佛廟。高延宗、莫多婁敬顯從城門進入，兩面夾擊，北周軍隊大亂，爭著逃出城門，城門間人群填塞擠壓，堵住了道路無法前進。北齊人從后刀砍矛刺，北周軍隊死了二千多人。北周國主左右的人幾乎都已死散，自己走投無路。承御上士張壽牽著馬頭，賀拔伏恩用鞭子抽打馬的后部，困難艱險地出了城。齊人奮勇追擊，幾乎打中了他。晉陽城東的道路狹隘彎曲，賀拔伏恩和投降北周的皮子信在前面帶路，這才幸免于死，這時已經(jīng)是深夜四更。高延宗以為北周國主已經(jīng)被亂兵所殺，派人在堆積的尸體中尋找留有長胡須的人，沒有找到。當時北齊人打了勝仗，到街坊間飲酒，都喝醉了睡在地上，高延宗無法整理隊伍。