朱熹對此善舉十分欽佩，為其作有《建昌南城縣吳氏義倉記》，周必大還為之寫了跋。又花巨資建起了規(guī)模較大的書樓，藏書數(shù)千冊，以此會朋友、教子弟，慶元元年（1195），朱熹欣然為之題寫了“書樓”二字。書樓之下有讀書堂，堂前有一小閣，閣之下有“和芋堂”，讀書堂后還有“榮木軒”。慶元六年（1200），吳氏“義倉書樓”還為朱熹畫了像，朱熹看了畫像后自題小詩：“蒼顏已是十年前，把鏡回看一悵然。履薄臨深涼無幾，且將余日付殘篇�！钡�吳倫，字子常，和吳伸同志蓄書，建藏書樓。嘉定三年（1210），著名文學家陸游也慕名造訪，還為書樓寫有《吳氏義倉書樓詩文后》和《吳氏書樓記》稱：“吳氏兄弟，為社倉以惠其鄉(xiāng)，為書樓以善其家，皆其力所及。自是推而上之，力可以及一邑、一郡、一道，以至謀漠于朝者，皆如吳君自力而不愧，豈不賢哉！”著名學者陸象山亦為之題有《吳氏書樓記》。