他和潘承弼(景鄭)均以藏書知名，其家藏書淵源極早，前后有200余年。其祖父潘祖同，有4萬卷藏書，庋于“竹山堂”中。他和潘景鄭在祖父的藏書基礎(chǔ)上，極力搜購(gòu)，達(dá)30萬卷，其他藏家如曹元忠的“箋經(jīng)室”、莫棠的“銅進(jìn)文房”、孫毓修的“小綠天”等舊家藏書，盡為其所得。1919年，因購(gòu)得宋蜀大宇本《陳后山集》30卷，由于紙色欠佳，市人均以為明本，他兄弟二人獨(dú)具慧眼，以重價(jià)收之，遂將藏書樓名為“寶山樓”。與老一輩藏書家如鄧幫述、丁祖蔭、宗舜年等人，角逐一時(shí)。收藏重點(diǎn)多明末史料、鄉(xiāng)賢文獻(xiàn)，尤留心搜訪名賢手翰，如有繆荃孫友朋往來的書札數(shù)十冊(cè)，嘗輯印《明清藏書家尺牘》4冊(cè)，依《藏書紀(jì)事詩》體例，收錄自明藏書家楊士奇至清末葉昌熾止，凡149位藏書家的手跡，內(nèi)容多明清藏書家掌故。輯印《明清兩朝畫苑尺牘》收246人，皆有小傳。抗戰(zhàn)勝利后，“寶山樓”藏書被出賣不少。零存善本書，后來捐給北京圖書館、上海歷史文獻(xiàn)圖書館。工于書畫，精于鑒賞，擅長(zhǎng)山水花卉。編輯有《沈石田年譜》、《毛子晉年譜》、《文征仲年譜》等。去世后，其弟潘承弼將其書畫作品刊印為《蘧庵遺墨》行世。