光緒二十二年得尚書懷塔的賞識，始任戶部主事，翌 年薦升戶 部郎中。寓京期間，他交游日廣，結(jié)識了不少革命黨人，其中有蘇 曼殊、徐錫麟、吳祿貞、李煜瀛、 秋瑾等人，后來又結(jié)識了孫中山， 雖曾被指控為“附逆”而不顧。戊戌變法失敗后，他認(rèn)為欲發(fā)憤圖 強(qiáng)，必須先開民智。因此資助楊模、 俞復(fù)、侯鴻鑒在無錫創(chuàng)辦翊實(shí) 學(xué)堂、三等學(xué)堂和競志女學(xué)，并將無錫私宅讓給女學(xué)做校舍。

光緒三十年冬，因不滿清廷統(tǒng)治，辭職南歸，移居滬上。翌年， 在上海曹家渡購地筑園，營造別墅，題名小萬柳堂。光緒三十二年， 在上海集股創(chuàng)辦文明書局，聘請無錫俞復(fù)、 丁寶書、趙鴻雪等知名 人士任編輯，編印新式學(xué)堂教科書，出版文學(xué)藝術(shù)譯著等。他還送 趙鴻雪去日本學(xué)習(xí)珂羅版、銅版等先進(jìn)印刷技術(shù)，使文明書局成為 我國最早采用珂羅版、銅版、鋅版印刷書籍的書局之一。至民國10 年(1921年)，因股東分歧、同業(yè)傾軋，文明書局合并給中華書局。 光緒三十三年，吳芝瑛好友秋瑾被害，他協(xié)助吳芝瑛將其遺骨 葬于杭州西泠橋畔，并請無錫著名畫家 吳觀岱描畫了《西泠寒食圖》， 并在秋瑾就義處軒亭口建立“風(fēng)雨亭”，在杭州南湖小萬柳堂別墅 內(nèi)建立“悲秋閣”，以志哀悼。清廷為此欲加害于他們夫婦，后迫 于輿論的壓力未敢下手。

宣統(tǒng)元年(1909年)，汪精衛(wèi)等人謀炸攝政王載灃未成被捕，他曾以私交向載灃說情。宣統(tǒng)三年，安徽新軍協(xié)統(tǒng)顧忠琛因受馬炮營起義失敗的牽連而逃到上海，廉泉將他隱藏在文明書局內(nèi)。辛亥革 命后，廉泉隱居北平潭拓寺，目睹軍閥混戰(zhàn)，民不聊生，憂時(shí)憤世的詩文常見諸報(bào)端。民國3年(1914年)赴日本，在神戶椰取山造住所，取名為三十六峰草堂，并在東京開設(shè)扇莊，介紹中國書畫， 與日本文化界名流評讀書畫，推敲金石，切磋詩文，頗有影響。民 國6年從日本回國，曾任故宮保管委員等職。北伐勝利后，曾被任 命為江蘇省屠宰稅局局長，他堅(jiān)決不就。民國18年蔣介石到北平， 吳稚揮按蔣介石意思，要為廉泉安排一個(gè)重要職務(wù)，亦遭其婉言拒絕。當(dāng)時(shí)他雖三餐不繼，但不肯受權(quán)貴之資助。他晚年生活十分窘困，因負(fù)累甚巨，不得不將杭州和上海的小萬柳堂別墅先后易主。 廉泉性情豪俠，節(jié)操高尚，輕財(cái)重義，樂于助人。不少事跡， 傳為美談。 民國20年，他獨(dú)赴北平潭柘寺養(yǎng)病，并因信佛而入寺為僧。同 年10月6日，病逝于北平協(xié)和醫(yī)院，安葬于潭柘寺旁，終年63歲。 遺著有《南湖集》、《潭柘集》、《夢還集》、《夢還遺集》等。