關(guān)于掃葉樓名字的由來(lái)，清朝乾隆間有史料記載，龔賢曾經(jīng)自畫像，畫中的龔賢化作掃葉僧人樣式，由此得名掃葉樓。清咸豐年間該樓毀于兵火，1889年，奉光緒皇帝的詔命重建掃葉樓，以后又于1901、1914年兩次重修。

龔賢紀(jì)念館在大門正中的石匾上“清涼山”三字是三百多年前這里的主人——龔賢所書寫。

龔賢（1618—1689），字半千，號(hào)野遺，如柴丈人、半畝居人。清涼山下人等都是他的號(hào)，江蘇昆山人，似乎明末清初具有民族氣節(jié)的愛(ài)國(guó)主義畫家、詩(shī)人，被譽(yù)為“金陵八大家”之首。

“金陵八大家”包括了龔賢、吳宏、高岑、樊圻、葉欣、鄒吉吉、胡、謝蓀八個(gè)畫家，他們都強(qiáng)調(diào)作品自然，在畫風(fēng)上有相似之處，稱為“金陵畫派”。

龔賢十三歲開(kāi)始學(xué)畫，他所處的時(shí)期正是明朝末期，階級(jí)矛盾，民族矛盾空前尖銳。二十一歲時(shí)，來(lái)到南京參加詩(shī)社活動(dòng)批判當(dāng)時(shí)社會(huì)，后為了謀生，到了揚(yáng)州，接著又到海安。1664年，龔賢回到南京，在清涼山下筑“半畝園”，深居簡(jiǎn)出，不事權(quán)貴，過(guò)著清苦的隱居生活。他以作畫為主，他的畫主要描繪南京地區(qū)的真山真水。晚年時(shí)的龔賢生活更加窘迫，主要以賣字畫、收學(xué)生教畫為主。1687年，龔賢結(jié)識(shí)了著名的戲劇家《桃花扇》的作者——孔尚任，他對(duì)龔賢在物質(zhì)和精神上的幫助很大。1689年，龔賢重病時(shí)于遭當(dāng)?shù)睾篱T權(quán)貴的迫害，他曾求助于孔尚任，然而還未等到孔尚任的幫助，72歲的龔賢在饑寒交迫中病故了。龔賢死后，孔尚任為其料理了后事，葬回昆山故居。