自稱“自幼有書癖”，精于鑒別。收藏金石、書籍、碑版、名畫甚富。其藏書多有善本，同治六年（1867）購藏有吳騫“拜經樓”舊藏800余種，宋元古刊影抄精善之本居多，如北宋本《白虎通》、《爾雅》、南宋本《風俗通義》、《荀子》、《老子》、元本《呂氏春秋》、明本《東垣先生此事難知集》等數十種，先后有1 800種，2萬余卷，碑帖有《隋龍藏寺碑》為存字最多、捶拓最精之本。家有“鐵如意齋”、“唯自勉齋”、“安雅廔”等藏書處，由曾國藩為之題寫匾額，曾號稱有“百宋千元之居”。編纂有《安雅廔藏書目錄》4卷3冊，按照四部分類，記藏書來源、行款和題識，藏書鈐有“鷦安�？泵丶�”、“嘉興唐翰題庚申后所聚”、“唯自勉齋藏書記”、“子冰秘玩”、“硯石山長”、“讀書有福得書難”、“質肅公孫”、“鐵如意齋”等數十枚印章。版本學家顧廷龍寫有《唐鷦安先生藏書考略》，記述唐氏藏書甚詳。著有《說文臆說》、《荀子校注》、《唯自勉齋存稿》等。