他和潘承弼(景鄭)均以藏書知名，其家藏書淵源極早，前后有200余年。其祖父潘祖同，有4萬卷藏書，庋于“竹山堂”中。他和潘景鄭在祖父的藏書基礎(chǔ)上，極力搜購，達30萬卷，其他藏家如曹元忠的“箋經(jīng)室”、莫棠的“銅進文房”、孫毓修的“小綠天”等舊家藏書，盡為其所得。1919年，因購得宋蜀大宇本《陳后山集》30卷，由于紙色欠佳，市人均以為明本，他兄弟二人獨具慧眼，以重價收之，遂將藏書樓名為“寶山樓”。與老一輩藏書家如鄧幫述、丁祖蔭、宗舜年等人，角逐一時。收藏重點多明末史料、鄉(xiāng)賢文獻，尤留心搜訪名賢手翰，如有繆荃孫友朋往來的書札數(shù)十冊，嘗輯印《明清藏書家尺牘》4冊，依《藏書紀(jì)事詩》體例，收錄自明藏書家楊士奇至清末葉昌熾止，凡149位藏書家的手跡，內(nèi)容多明清藏書家掌故。輯印《明清兩朝畫苑尺牘》收246人，皆有小傳�？箲�(zhàn)勝利后，“寶山樓”藏書被出賣不少。零存善本書，后來捐給北京圖書館、上海歷史文獻圖書館。工于書畫，精于鑒賞，擅長山水花卉。編輯有《沈石田年譜》、《毛子晉年譜》、《文征仲年譜》等。去世后，其弟潘承弼將其書畫作品刊印為《蘧庵遺墨》行世。