余集生于清高宗乾隆三年，卒于宣宗道光三年，享年八十六歲。乾隆三十一年（1766）進士，候選知縣，官至侍講學士。三十八年（1773），與邵晉涵、周永年、戴震、楊昌霖同薦修《四庫全書》，授翰林院編修，人稱“五征官”。累遷至侍讀學士。告歸后，出主大梁書院八載，日以文藝自娛。性醇正高介，尤好引掖后進。道光二年（1822），重赴鹿鳴，惟集與潘奕雋兩人，時稱“吳越二老先生”。

余集博學多藝，工詩古文詞，作詩神韻間遠，不屑庸詞俗語，畫山水多秀逸別致，有“山光在掌、云氣生衣”之韻致。尤善畫人物，所畫仕女，風神閑靜，絕無粉脂氣，因此人送雅號“余美人”，但不輕易為人作畫。兼長花卉禽鳥，無不妙趣橫生。晚年，只寫蘭竹，風神淡逸。書法古樸而秀潤，曾書孫退谷所作《庚子銷夏記》精刊行世。年八十余，尚能作蠅頭小楷。

生平吟詠甚富，嘗著《百吶琴》一卷，論者謂曹、劉、鮑、謝奔赴腕下，無組織之跡，所作多散佚。歿后，龔麗正刊其《梁園歸棹錄》、《憶漫庵剩稿》二冊，詩詞雜文皆載其中；《清史列傳》又有《秋室詩鈔》，《歷代畫史匯傳》并傳于世。

為人和易無達官氣，歸后入主大梁書院數(shù)年，自稱泊然寡嗜，于古人遺集和未刊之本，尤留意搜羅，得宋元人遺集不下500種，所藏舊抄本如《九靈山房集》、《劉滄詩》、《庚子消夏記》等，創(chuàng)“梁園”、“憶漫庵”為藏書處，藏書印有“校書余暇”、“余氏蓉裳”、“余集之印”、“達辭而已”等。