北魏安定人，青年時好行俠仗義。在雍州（今西安）參軍后，任肖寶夤手下中兵參軍。

孝昌二年（526），肖寶夤據(jù)雍州稱帝。北地郡毛氏兄弟征募鄉(xiāng)里民兵，準備討伐。肖寶夤聞訊，派侯絡德與梁嵩遵率兵攻魏。侯、梁不原叛變，反戈一擊，使肖寶夤措手不及，大敗而逃，從而收復雍州。 梁嵩遵因功被封為烏氏開國伯。后任荊州驃騎府司馬，直至去世。