清朝中期，靜海大部分坍入長江，居民遷徙鄰近各處。潘家遷到如皋縣所屬豐利場（今如東縣豐利鎮(zhèn)），經(jīng)商致富。恩元之父名蔭東，字保之，同治九年（1870年）舉人，以樂善好施，熱心公益聞名于鄉(xiāng)里。光緒三十年（1904）興學(xué)校之風(fēng)在通如一帶興起，潘蔭東在豐利創(chuàng)辦私立潘氏初等小學(xué)堂和師范傳習(xí)所。光緒三十四年，初等小學(xué)堂擴(kuò)展兩等小學(xué)堂。蔭東長子肇元字新伯，拔貢。在家繼承祖業(yè)經(jīng)營木行，并協(xié)助其父辦理教育和地方公益。次子恩元鄉(xiāng)試舉人�？婆e廢后，自費(fèi)去日本讀經(jīng)濟(jì)學(xué)。回國后值民國成立，被推為江蘇省議會議員。沙元炳主纂《如皋縣志》聘潘恩元為協(xié)修。民國十年（1921）后，縣志編纂因經(jīng)費(fèi)不繼而中輟，潘應(yīng)留日同學(xué)、天津金城銀行董事長兼總經(jīng)理周作民之聘，至金城銀行總行任秘書長。民國24年（1935）金城銀行上海分城改為總行，潘調(diào)至上海。民國33年（1944）潘病歿于上海任上，年71歲。沙元炳與潘氏父子交誼深厚，常有詩唱和。