北魏安定人，青年時(shí)好行俠仗義。在雍州（今西安）參軍后，任肖寶夤手下中兵參軍。

孝昌二年（526），肖寶夤據(jù)雍州稱帝。北地郡毛氏兄弟征募鄉(xiāng)里民兵，準(zhǔn)備討伐。肖寶夤聞?dòng)�，派侯絡(luò)德與梁嵩遵率兵攻魏。侯、梁不原叛變，反戈一擊，使肖寶夤措手不及，大敗而逃，從而收復(fù)雍州。 梁嵩遵因功被封為烏氏開國(guó)伯。后任荊州驃騎府司馬，直至去世。