梁遐有三個(gè)兒子，長(zhǎng)子康早亡，三子庚（被奉為入閩梁氏二世祖）留在三山家中照顧母親和小孩，次子廉（362—429年）和孫梁祖都參加了義軍。

梁祖是梁廉的長(zhǎng)子，字龍真，號(hào)喜，謚剛毅。生于晉孝武帝太元十六年（391年），由于生長(zhǎng)在亂世之中，從少練就一身好武藝。梁遐三山起兵討伐桓玄時(shí)，梁祖年方15歲，便隨父開(kāi)始了軍旅生活。公元407年，梁祖隨祖父、父親復(fù)歸安定后，雖在家務(wù)農(nóng)，但雄心壯志不減。這時(shí)雄踞北方的后秦政權(quán)（384—417年），在開(kāi)明的文桓帝姚興的領(lǐng)導(dǎo)下，將統(tǒng)治的疆域迅速擴(kuò)大，西至河西走廊（包括安定在內(nèi)），東至徐州、幾乎控制了整個(gè)黃河、淮河、漢水流域。當(dāng)時(shí)姚興將梁祖招至長(zhǎng)安，任命他為右將軍（軍隊(duì)中層將領(lǐng)），在公元414年被提升為右仆射大將軍（相當(dāng)于現(xiàn)在的國(guó)務(wù)院副總理）。后秦在姚興晚年時(shí)，因連年征戰(zhàn)，國(guó)庫(kù)空虛。梁祖先后七次上疏給姚興，請(qǐng)求朝廷體察民情，減少征伐戰(zhàn)事。但此時(shí)姚興因兩個(gè)兒子不和，內(nèi)亂不斷，使得政局越加不穩(wěn)。公元416年，姚興病死，皇太子姚泓繼承帝位。姚泓昏庸無(wú)德。梁祖在公元417年初，高懸官印，棄官離開(kāi)了長(zhǎng)安，隱蔽在民間，不再過(guò)問(wèn)政事。