由吾道榮聽說有個晉陽人精通法術，就到處尋訪。這個人當時在給人當雇工，沒有人認識他，由吾道榮找了很久才找到。這個人精通道家符水、禁咒、陰陽歷數(shù)、天文、藥性，看到由吾道榮好學向道，就把這些都教給由吾道榮。

這個人本來是天上的恒岳仙人，因為犯了一些小罪過，被天官變下人間，如今期限滿了，要回去了，叫由吾道榮送他到汾河。汾河正好漲水，把橋沖斷了，渡船也很難渡過河去。恒岳仙人往河里扔一道符箓，河水斷絕，漲到天上去了，恒岳仙人慢慢踩著河底沙石過河，而這些只有由吾道榮看到，旁人只看到恒岳仙人是浮過去，都感到很驚訝。

后來，由吾道榮回到瑯琊隱居修行，辟谷，只吃松籽、茯苓，探求長生的秘訣。后來北齊文宣皇帝 高洋派人追召由吾道榮，途中走到遼陽山里，有猛獸出現(xiàn)，追召的人嚇得要逃走，由吾道榮用手杖畫地成火坑，嚇跑了猛獸。