1914年調(diào)浙江，任省長公署秘書。次年8月，任嵊縣知事兼警察所長。就任時(shí)，縣商會(huì)照例向他贈(zèng)送銀元數(shù)千元作見面禮，他將此巨款轉(zhuǎn)贈(zèng)給慈善堂，自己不留分文。1916年，辭官歸里，于家興辦“篤竹書院”，并致力于史學(xué)研究。他樂善好施，每逢水旱災(zāi)害，均開倉濟(jì)貧，并撥出14畝良田贈(zèng)給本村7個(gè)孤獨(dú)戶。還研習(xí)醫(yī)學(xué)，自帶中藥，為鄉(xiāng)民免費(fèi)治病，受到鄉(xiāng)民稱贊。

    1923年，其師黃維翰《黑水先民傳》撰成付印，陳元慎負(fù)責(zé)校勘，并為之作跋。1939年，任臨川縣志局局長兼總纂，歷時(shí)八載，修成《臨川縣志》（稿本），雖未付梓，但所收資料仍保留至今。1943年，任臨川縣臨時(shí)參議會(huì)議長，敢于代表民意抨擊時(shí)弊，揭露縣長陳其昌利用職權(quán)，貪污公款的丑行，深為縣人推重。

    著有《太平天國大事年表》、《詩集》、《文集》各1本，《德思齊錄》4本，《農(nóng)田水利有益無害辨》、《教育英才專責(zé)其成辨》等。