光祿勛平通侯楊惲，廉潔無私；然伐其行能，又性刻害，好發(fā)人陰伏，由是多怨于朝廷。與太仆戴長樂相失；人有上書告長樂罪，長樂疑惲教人告之，亦上書告惲罪曰：“惲上書訟韓延壽，郎中丘常謂惲曰：u2018聞君侯訟韓馮翊，當?shù)没詈�？u2019惲曰：u2018事何容易，脛脛者未必全也。我不能自保，真人所謂“鼠不容穴，銜窶數(shù)”者也。u2019又語長樂曰：u2018正月以來，天陰不雨，此《春秋》所記，夏侯君所言。u2019”事下廷尉。廷尉定國奏惲怨望，為妖惡言，大逆不道。上不忍加誅，有詔皆免惲、長樂為庶人。

楊惲既失爵位，家居治產業(yè)，以財自娛。其友人安定太守西河孫會宗與惲書，諫戒之，為言“大臣廢退，當闔門惶懼，為可憐之意；不當治產業(yè)，通賓客，有稱譽�！睈�，宰相子，有材能，少顯朝廷，一朝以昧語言見廢，內懷不服，報會宗書曰：“竊自思念，過已大矣，行已虧矣，常為農夫以沒世矣，是故身率妻子，戮力耕桑，不意當復用此為譏議也！夫人情人所不能止者，圣人弗禁；故君、父至尊、親，送其終也，有時而既。臣之得罪，已三年矣，田家作苦，歲時伏臘，烹羊，羔，斗酒自勞，酒后耳熱，仰天拊缶而呼烏烏，其詩曰：u2018田彼南山，蕪穢不治；種一頃豆，落而為萁。人生行樂耳，須富貴何時！u2019誠荒淫無度，不知其不可也�！庇謵列肿影财胶钭T謂惲曰：“侯罪薄，又有功，且復用！”惲曰：“有功何益！縣官不足為盡力�！弊T曰：“縣官實然。蓋司隸、韓馮翊皆盡力吏也，俱坐事誅�！睍�有日食之變，騶馬猥佐成上書告“惲驕奢，不悔過。日食之咎，此人所致�！闭孪峦⑽�，按驗，得所予會宗書，帝見而惡之。廷尉當惲大逆無道，要斬；妻子徙酒泉郡；譚坐免為庶人，諸在位與惲厚善者，未央衛(wèi)尉韋玄成及孫會宗等，皆免官。”（《資治通鑒》漢紀十九）

光祿勛平通侯楊惲，廉潔無私，但愛夸耀自己的才干，為人尖刻，好揭人隱私，所以在朝中結怨很多。楊惲與太仆戴長樂不合，有人上書控告戴長樂之罪，戴長樂懷疑是楊惲指使，便也上書控告楊惲說：“楊惲上書為韓延壽辯護，郎中丘常對楊惲說：u2018聽說你為韓延壽辯解，能救他一命嗎？u2019楊惲說：u2018談何容易！正直的人未必能保全！我也不能自保，正如人們所說：“老鼠不為洞穴所容，只因它嘴里銜的東西太大�！眜2019又曾對我說：u2018正月以來，天氣久陰不下雨，這類事，《春秋》上有過記載，夏侯勝也說到過。意味著將有臣下犯上作亂。u2019”此事交給廷尉處理。廷尉于定國上奏參劾楊惲心懷怨望，惡言誹謗，大逆不道。漢宣帝不忍心殺人，下詔將楊惲、戴長樂全都免官貶為平民。

楊惲失掉封爵、官位后，住在家里治理產業(yè)，用財富自我娛樂。楊惲的朋友安定太守西河人孫會宗寫信勸戒他說：“大臣被罷黜貶謫之后，應當閉門在家，惶恐不安，以示可憐之意。不應治理產業(yè)，交結賓客，享有聲譽�！睏類翞樨┫鄺畛ㄖ�子，很有才干，年輕時就在朝廷中嶄露頭角，一時受到暖昧語言的中傷，遭到罷黜，內心不服，給孫會宗回信說：“我暗自思量，自己的崐過錯已太大了，行為已有虧欠，將長久做一名農夫度過一生，所以率領妻子兒女，致力于農桑之事，想不到又因此受人譏評！人情所不能克制的事，連圣人都不加禁止。所以即使是至尊無上的君王，至親無比的父親，為他們送終，也有一定的時限。我得罪皇上，已三年了，農家勞作辛苦，每年伏日、臘月，煮羊燉羔，用酒一斗，自我犒勞，酒后耳熱，仰面朝天，敲著瓦盆，放聲吟唱，詩中寫道：u2018南山種田，荒蕪雜亂，種一頃豆，落地成秧。人生不過及時樂，等待富貴何時來！u2019就算是荒淫無度，我不知不可以如此�！痹儆�，楊惲兄長的兒子安平侯楊譚對楊惲說：“你的罪并不大，又曾于國有功，將會再次被任用�！睏類琳f：“有功又有什么用！不值得為皇上盡力！”楊譚說：“皇上確實如此。司隸校尉蓋寬饒、左馮翊韓延壽都是盡力的官吏，都因事被誅殺�！闭�巧出現(xiàn)日食，一個名叫成的馬夫頭上書控告楊惲說：“楊惲驕傲奢侈，不思悔過。這次出現(xiàn)日食，就是因為楊惲的關系�！弊嗾陆唤o廷尉，經(jīng)過核查，發(fā)現(xiàn)了楊惲寫給孫會宗的信，漢宣帝看了以后，對楊惲深惡痛絕。廷尉判處楊惲大逆不道之罪，腰斬；妻、兒放逐酒泉郡；楊譚受其牽連，也被貶為平民；幾位與楊惲關系友善的在職官員，如未央衛(wèi)尉韋玄成和孫會宗等，都被罷免官職。