順治初年，李的父親因為海上抗清的事情被謝三賓出賣受牽連，被捕，關(guān)在杭州監(jiān)獄。他自己也被關(guān)在定海馬廄中兩個多月。在朋友萬泰的幫助下被釋放，但其父卻在出獄之后，絕食殉國。聽到父親的噩耗，李杲堂差點悲慟地死過去。從此以后他就下定決心做一位遺民，不與新朝合作。

燕人梁以樟來到鄞縣后，杲堂先生與萬泰、徐鳳垣、高斗權(quán)、高斗魁一起，每天賦詩唱和，詩文高華曲折。雖然杲堂先生沒像許多人一樣遁世參禪，但他許多寫詩的地方都在僧寮野廟，并與好多和尚成為朋友，像木陳、悟留、山曉、天岳，而且在寧波成立了一個“鑒湖社”，類似詩社一樣的遺民組織。詩社寫詩像科舉一樣，寫好了把名字封起來，杲堂先生在樓上評定甲乙丙丁，一旦說某詩寫得不錯，那樓下等待的人就非常高興，而且身價陡增。在晚年，杲堂先生重視四明文獻學，輯錄《甬上耆舊詩》。在詩集前面，每個作者都有一小傳，立詩人之傳，讓詩人流芳百世。學者們都稱他為“杲堂先生”。

在李杲堂先生的遺民生涯中，他救了大量的抗清義士，他出力營救黃宗炎（黃宗羲弟弟），張蒼水被捕的時候，發(fā)現(xiàn)了許多張與甬上縉紳的往來信札，當時的降將張杰打算按名字一個一個抓起來，李杲堂懇求胡文學設(shè)法營救，以至很多人幸免于難。萬斯同上京修史，他寫信給萬斯同，要他堅持民族氣節(jié)，以至萬斯同不受清廷的任何職務，以布衣身份修明史。

杲堂先生的讀書處叫東齋，當時有許多詩人耆舊都在這里聚會，東門先生的別業(yè)叫松梧閣。蔣學鏞先生，全祖望的弟子，有一首《松梧閣嘆》：世間萬事一仰俯，舞榭歌臺久塵土。故家文物重可思，砌里今比城南杜。東洲老人有遺筑，子弟風流門巷古。別添小閣貯圖書，特愛清陰敞廊廡。行人隔水指欹蓋，坐客憑欄聽疏雨。百年小劫太匆匆，社燕歸來尋故主。鵝欄豕柵逼仄多，掘盡陳根移舊礎(chǔ)。我來訪舊坐其下，斷桿枯株重摩撫。讀書秋樹今有無？耆舊凋殘風月苦。醉翁草木尚可敬，曷不留之縱尋斧？主人一笑不見答，捫腹階前算屠酤……詩里透著一種悲涼，是對逝去的懷念，任何美的事情在時間的面前都是過客，大浪淘盡千古風流人物。

李氏宗祠圈在月湖盛園商圈內(nèi)，前進房子有一些關(guān)于浙東學派、李杲堂先生的生平事跡陳列，為城區(qū)內(nèi)唯一一處紀念李杲堂的場所。