梁遐有三個兒子，長子康早亡，三子庚（被奉為入閩梁氏二世祖）留在三山家中照顧母親和小孩，次子廉（362—429年）和孫梁祖都參加了義軍。

梁祖是梁廉的長子，字龍真，號喜，謚剛毅。生于晉孝武帝太元十六年（391年），由于生長在亂世之中，從少練就一身好武藝。梁遐三山起兵討伐桓玄時，梁祖年方15歲，便隨父開始了軍旅生活。公元407年，梁祖隨祖父、父親復(fù)歸安定后，雖在家務(wù)農(nóng)，但雄心壯志不減。這時雄踞北方的后秦政權(quán)（384—417年），在開明的文桓帝姚興的領(lǐng)導(dǎo)下，將統(tǒng)治的疆域迅速擴(kuò)大，西至河西走廊（包括安定在內(nèi)），東至徐州、幾乎控制了整個黃河、淮河、漢水流域。當(dāng)時姚興將梁祖招至長安，任命他為右將軍（軍隊(duì)中層將領(lǐng)），在公元414年被提升為右仆射大將軍（相當(dāng)于現(xiàn)在的國務(wù)院副總理）。后秦在姚興晚年時，因連年征戰(zhàn)，國庫空虛。梁祖先后七次上疏給姚興，請求朝廷體察民情，減少征伐戰(zhàn)事。但此時姚興因兩個兒子不和，內(nèi)亂不斷，使得政局越加不穩(wěn)。公元416年，姚興病死，皇太子姚泓繼承帝位。姚泓昏庸無德。梁祖在公元417年初，高懸官印，棄官離開了長安，隱蔽在民間，不再過問政事。