其父楊師孔，曾任浙江參政（約相當于副省級長官）。楊文聰于萬歷二十四年（1596），誕生于貴陽城南郊的石林精舍少懷壯志，學兼文武，善書畫，有文采，萬歷末期舉于鄉(xiāng)。此后屢試不第，年已30，仍功名不就，因之落魄江湖，縱情山水。他愛南京棲霞山風物，曾讀書山中，暇時常登峰頂，眺望長江。數(shù)年后，回憶這段生活，曾繪《江中望棲霞》，并題詠其上，以抒懷念之情。

　　崇禎十六年（1643）已近中年時，他才謀得江寧知縣一職，但不久又被劾罷官。失意之余，遂盤桓于秦淮風月場中。原來秦淮內(nèi)河自明太祖定都南京就異常繁華，從東水關到西水關長達十里，徹夜燈船，盡笙歌。楊文聰為人豪俠，性愛交游，不僅與素淮名妓往來甚密，而且與復社名流侯方域等結為至友。以扇血點染桃花的韻事，很有可能就發(fā)生在這時。此事本傳不載，然據(jù)近人考證，在孔尚任《桃花扇》成書之前，姜實節(jié)為楊文聰題畫時就有“記否桃花留扇底，一回首處一消魂”之句。由此可知，楊文聰以扇血點染桃花，并非虛構，而是實有其事。

　　崇禎十七年（1644）三月十九日，李自成攻下北京，明思宗朱由檢自殺。吳三桂引清兵入關，合力撲滅了李自成農(nóng)民起義軍的烈火。明南京兵部尚書史可法、鳳陽總督馬土英等擁立福王朱由崧即位南京。楊文聰和馬士英是同鄉(xiāng)，又系姻親，同時他在武備方面也有一定才能，因此被起用，監(jiān)軍京口（今鎮(zhèn)江）。其時的鎮(zhèn)江金山尚在長江水中，他認為金山控制南北，地形利于防守，奏請筑城以資守御，很快得到允準。

　　清順治二年（1645）初，楊文聰升任兵備副使，分巡鎮(zhèn)、常兩府。到清兵逼近長江時，文聰正駐軍金山，控制江防。同年五月，他被提任為右僉都御史（中央監(jiān)察機關長官）兼督沿江諸軍。文聰遂還駐京口，和大將鄭鴻適等軍合兵長江南岸，與清兵隔江相持。九日夜，清兵乘大霧偷渡，直到接近南岸才被甘露寺守軍發(fā)現(xiàn)，遂倉皇迎敵，但被清兵沖散。楊文聰敗退至蘇州。十三日，清兵攻陷南京，南明文武大臣、勛戚除逃亡外，大部迎降。清將曾派人往蘇州勸降文聰，說客卻被楊文聰所殺，并退軍處州（今屬浙江）。此時唐王自立于福州，文聰遣使奉表稱賀，被拜為兵部右侍郎兼右金都御史，提督軍務，圖謀收復南京。文聰受命于國破之際，孤軍奮戰(zhàn)，雖曾扼守仙霞嶺，屢挫清軍，終因眾寡懸殊，于1645年7月兵敗被俘，不屈而死，全家36口人同時遇難。

　　楊文聰博學好古，書法超逸。善畫山水，有宋人之骨力去其結，有元人之風 雅去其佻，出入巨然、惠崇之間。

　　崇禎四年（1631）作《秋林遠軸圖》軸藏日本大阪市立美術館。

　　崇禎九年（1636）作《仿董巨山水》軸，現(xiàn)藏北京市文物局；

　　《仿倪瓚山水圖》軸藏無錫市博物館；

　　崇禎十一年（1638）有《枯木竹石圖》，藏南京博物院。

　　《水村圖》卷圖錄于《中國繪畫史圖錄》下冊；

　　崇禎十五年（1642）作《仙人村塢圖》軸藏故宮博物院；

　　《朱雀航》

　　野航月冷草蕭蕭，曾照當年劫火燒。

　　遺恨至今流不斷，酸風昨夜返寒潮。