或勸之著述，他說(shuō)：《 六經(jīng)》、《語(yǔ)》、《孟》，先儒所言已經(jīng)很完備了，吾何必為他們做注腳呢？居閑感憤，或形之詠歌，以洩其悲思慷慨之志。讀書(shū)有得，往往筆之壁牖間。元至正三年，詔徵天下遺逸，廉訪(fǎng)使檄贊之行，竭力推辭。嘗嘆曰：泉石膏肓，非其時(shí)，莫可療也。乙未歲卒，年八十有六。時(shí)明太祖渡江，已取太平路。兵火後，卷帙散亡。嘉靖間，七世孫潘日升搜葺其遺稿及讀書(shū)錄，并刻之。其著作《待清軒遺稿》及《讀書(shū)錄》各一卷，收入《四庫(kù)全書(shū)總目》。

厲鶚《宋詩(shī)紀(jì)事》收錄潘音詩(shī)5首，分別為《有所思》、《山中寄友人》、《悼楊侍郎》、《山居阻雨》、《聞鵑》。其中《聞鵑》有云：“子規(guī)聲切月輪斜，起望諸陵憶漢家。婦女尋芳渾不解，鬢云爭(zhēng)插杜鵑花”。漢家云云，當(dāng)是借指宋朝而已，杜鵑鳥(niǎo)是望帝春心托杜鵑，是故國(guó)遺民觸目皆是愁思之物，而尋芳踏春之?huà)D女渾然不解，紛紛往頭上爭(zhēng)插杜鵑花，在潘音眼中實(shí)在情何以堪。全詩(shī)寄沉痛于悠閑中，堪稱(chēng)別有懷抱。同時(shí)，潘音有《讀岳武穆（即岳飛）傳》詩(shī)，其云：“萬(wàn)里浮云入望陰，千山落日正沉沉。當(dāng)朝自餒中興志，出塞徒勞上將心。臣子終天仇未報(bào)，奸邪設(shè)險(xiǎn)計(jì)殊深。惟余一筐精忠傳，揮淚頻看不自禁�！笔茁�(lián)以寫(xiě)景烘托岳飛所處時(shí)代的政治背景，浮云萬(wàn)里，陰霾滿(mǎn)天，千山落日，時(shí)近黃昏，大宋江山，正籠罩在陰霾中，置身于西沉落日里。起筆雄健，意境蒼茫而雄渾，既可視為寫(xiě)實(shí)，也可稱(chēng)具有寓意。接著轉(zhuǎn)入當(dāng)朝最高統(tǒng)治者皇帝與擔(dān)負(fù)保國(guó)安邦重任大臣之間在時(shí)局認(rèn)識(shí)上的差距，統(tǒng)治者雖有中興之志，但落實(shí)在行動(dòng)上，卻是一片自餒之氣，使中興口號(hào)化解于無(wú)形；岳飛之精忠報(bào)國(guó)，當(dāng)出諸赤誠(chéng)之心，但因?yàn)楫?dāng)朝最高統(tǒng)治者的自餒，一片丹心，終成徒勞。最后的結(jié)局，自然可想而知矣。臣子終天仇未報(bào)，奸邪設(shè)險(xiǎn)計(jì)殊深。國(guó)恨家仇，欲以“駕長(zhǎng)車(chē)踏破賀蘭山闕”雪之，但終于為朝中奸佞秦檜輩設(shè)計(jì)陷害，以莫須有罪名置于死地，鑄成千古奇冤。大宋江山，自此煙消云散，惟余一筐精忠傳，讓后人揮淚頻看不自禁。