楊素為弘農(nóng)楊氏之后，先祖世代為官。其祖父楊暄，官至北魏輔國將軍、諫議大夫；父親楊敷，為北周汾州刺史。楊素小時候窮困失意，不拘小節(jié)，有遠大的志向。時人都不理解他，只有他的堂叔祖、魏朝的尚書仆射楊寬認為他很不一般，常對子孫說：“處道不是一般的人，他日一定出類拔萃，無與倫比，不是你們趕得上的�！睏钏睾髞砗桶捕ㄈ伺：耄ê笕嗡宄�禮部、吏部尚書）志同道合，他們勤奮好學，研究探討精心專誠，從不感到疲倦，因而在文學、書法上均有造詣，史書稱其“研精不倦，多所通涉。善屬文，工草隸，頗留意于風角。美須髯，有英杰之表”。當時北周大冢宰宇文護把持朝政，引其為中外記室，后轉(zhuǎn)禮曹，加大都督。

天和七年（572年）三月，北周武帝宇文邕誅殺宇文護，親掌朝政，楊素因曾受到宇文護的重用，所以遭到株連。此時，楊素以其父楊敷死于北齊，但未受朝廷追封，便上表申訴。武帝不理。楊素再三上表，武帝大怒，下令殺楊素。楊素高聲地說：“我給無道的天子做事，死是應(yīng)該的。”武帝聞后，對楊素刮目相看，赦其無罪，并追贈其父為大將軍，謚號忠壯。拜楊素為車騎大將軍、儀同三司，并逐漸對其有了好感。武帝又令楊素起草詔書，他下筆成章，文詞華麗。武帝予以稱贊，對他說：“好好努力，不愁日后沒有榮華富貴。”而楊素卻回答說：“臣只怕富貴來逼臣，臣卻無心謀取富貴。”

建德四年（575年）七月，武帝率軍攻北齊，楊素請求率其父舊部為先鋒，武帝應(yīng)允，并賜他一條竹鞭，說：“我正要驅(qū)使天下，所以把這件東西賜給你。”楊素跟隨齊王宇文憲在河陰和齊軍交戰(zhàn)，因戰(zhàn)功被封為清河縣子，食邑五百戶。同年授司城大夫。

建德五年（576年）十月，楊素再次隨宇文憲攻北齊，克晉州（治白馬城今山西臨汾境）。宇文憲屯兵棲原，北齊后主高緯率諸軍自晉陽（今山西太原）向晉州進發(fā)。宇文憲聞北齊軍主力至，大懼，乘夜而逃，結(jié)果為北齊軍追上，北周軍多被擊潰。楊素與驍將十余人盡力苦戰(zhàn)，宇文憲方得以解圍。此后，楊素更是屢立戰(zhàn)功。北齊滅亡后，楊素加上開府，改封成安縣公，邑千五百戶，賜以粟帛、奴婢、雜畜。

建德六年（577年）十月，陳宣帝陳頊聞北周滅北齊，即乘機爭奪淮北地區(qū)，遂派名將吳明徹率軍北伐。吳明徹軍至北周呂梁（今江蘇徐州東南），擊敗徐州總管梁士彥，進圍彭城（今江蘇徐州）。次年二月，楊素隨上大將軍王軌前去救援，最終大破陳軍，俘主將吳明徹。楊素遂治東楚州事。其弟楊慎被封為義安侯。陳將樊毅筑城于泗口，楊素將其擊走之，并將所筑之城全部毀壞。六月，武帝去世，周宣帝繼位。宣帝即位后，楊素襲父爵臨貞縣公，并以其弟楊約為安成公。

大象元年（579年），楊素隨上柱國韋孝寬攻陳淮南（泛指今淮河以南地區(qū)）。其中，楊素獨自率軍攻克盱眙（今江蘇盱眙東北）、鐘離（今安徽鳳陽東北）。

大象二年（580年）五月十一日，北周宣帝宇文赟病死。周靜帝宇文衍年幼，左丞相楊堅專政。楊素知楊堅甚得眾心，且有稱帝之意，遂主動投到楊堅門下，與其深自結(jié)納。楊堅也知楊素之才，對其也非常器重，不久便以楊素為汴州刺史。

楊素在上任途中行至洛陽時，方知相州（治鄴城）總管尉遲迥等舉兵反楊堅。尉遲迥原為北周文帝宇文泰的外甥，位望素重，楊堅恐其有異圖，遂以會葬宣帝為名，詔使其子尉遲敦召尉遲迥入朝；并以韋孝寬為相州總管赴鄴（今河北臨漳西南）取代尉遲迥。六月，尉遲迥恐楊堅專權(quán)對北周不利，公開起兵反對楊堅。滎州刺史宇文胄據(jù)武牢以應(yīng)尉遲迥，使楊素無法前行。

七月十日，楊堅調(diào)發(fā)關(guān)中兵，令韋孝寬為行軍元帥，楊素與郕公梁士彥、樂安公元諧、化政公宇文忻、濮陽公宇文述、武鄉(xiāng)公崔弘度、隴西公李詢等皆為行軍總管，率軍討伐尉遲迥。楊素旋即被拜為大將軍，領(lǐng)河內(nèi)兵攻打宇文胄，將其斬殺。改任徐州總管，進位柱國，封清河郡公，邑二千戶。其弟楊岳也被封為臨貞公。

大定元年（581年）二月，楊堅受禪登基，改元開皇，是為隋文帝，建立隋朝。楊堅稱帝后，加楊素上柱國，讓他參與了隋朝法律的修定。

開皇四年（584年），拜御史大夫。由于其妻鄭氏是個悍婦，楊素一次與其吵架說了一句：“我如果當了天子，你一定不能作皇后�！苯Y(jié)果被其妻告發(fā)，楊素因此獲罪，并被免官。此次經(jīng)歷，險些毀了楊素的前途。好在文帝一直準備滅亡陳朝，統(tǒng)一中國，楊素曾數(shù)次獻伐陳之策，此次被免官后，楊素并沒有閑著，再次獻伐陳之策。

開皇五年（585年）十月，楊素任信州總管，經(jīng)略長江上游，朝廷賜錢百萬、錦千段、馬二百匹。

開皇七年（587年），楊素與尚書左仆射高颎、吳州總管賀若弼、光州刺史高勱、虢州刺史崔仲方等人獻平陳之策。楊素在永安（巴東郡，今重慶市奉節(jié)縣東） 建造“五牙”（上起樓五層，高百余尺；左右前后置六拍竿，并高五十尺，容戰(zhàn)士八百人）、“黃龍”等戰(zhàn)船，加強水師，作滅陳準備。并故意在江中漂下造船廢料，以威懾擅長水戰(zhàn)的陳軍。

開皇八年（588年）三月，隋文帝下詔，列舉陳后主罪行又送璽書暴其罪惡二十條，并將詔書在江南散發(fā)三十萬份，以爭取人心。十月，楊堅在壽春（今安徽壽縣）設(shè)淮南行臺省，以晉王楊廣為行臺尚書令，主管滅陳之事。楊素與楊廣、秦王楊俊并為行軍元帥，高颎為晉王元帥長史，右仆射王韶為司馬，集中水陸軍五十一萬八千人，統(tǒng)由楊廣統(tǒng)帥，東至大海，西到巴、蜀，旌旗舟楫，橫亙數(shù)千里。隋軍自長江上游至下游分為8路攻陳，其中楊素指揮水軍主力，出巴東郡，順流東下，負責消滅長江及沿岸陳水陸軍。十一月，楊堅至定城（今陜西華陰東）誓師，準備渡江的各路隋軍進抵長江北岸，完成進攻準備。

十二月上旬，楊素按隋滅陳作戰(zhàn)部署，首先率舟師自巴東郡東下三峽，在長江上游發(fā)起攻勢作戰(zhàn)。軍至流頭灘（又名虎頭灘，今湖北宜昌西北），陳將戚昕率青龍戰(zhàn)船百余艘、戰(zhàn)士數(shù)千人堅守前方狼尾灘（今湖北宜昌西北長江中），以遏隋軍。狼尾灘地勢險峭，水流湍急，易守難攻，將領(lǐng)們都憂心忡忡。楊素認為：“成敗在此一舉。如果我們白天乘船而下，他們就會看見我們，灘險水急，天制不由人力，那么我們就失去了有利的條件�！庇谑菦Q定采用水陸協(xié)同，分進合擊的方針，乘夜突襲，將其擊敗。楊素率黃龍戰(zhàn)船數(shù)千艘，利用夜暗，令將士銜枚開進，實施正面突破；令開府儀同三司王長襲率步兵由長江南岸攻擊戚昕別柵；令大將軍劉仁恩率甲騎自江陵（今屬湖北）西進，沿長江北岸進擊陳軍白沙（今宜昌東）要點。隋軍水陸配合，于次日拂曉，一舉擊敗戚聽所部。戚聽逃走，部屬全部被俘。楊素對俘虜不殺不辱，慰勞后全部釋放。秋毫不犯，陳國人非常高興。此戰(zhàn)，楊素恰當選擇進攻時機，以水軍突襲與兩岸步、騎兵協(xié)同攻擊，速戰(zhàn)速決，取得首戰(zhàn)勝利，為滅陳戰(zhàn)爭發(fā)展創(chuàng)造了有利條件。實行優(yōu)待俘虜政策，有利于爭取更多的陳軍將士。

楊素率領(lǐng)水軍繼續(xù)東下，大小戰(zhàn)船鋪滿了整了江面，旌旗盔甲在陽光下鮮艷耀眼。楊素端坐在平乘大船之上，容貌體魄雄健魁偉，陳國人望而生畏，都說：“清河公就是長江之神�。　�

陳荊州刺史陳慧紀派南康內(nèi)史呂忠肅率軍屯守歧亭（今長江西陵峽口），在兩岸巖石上鑿孔，系三條鐵索橫截江面，阻遏隋軍戰(zhàn)船。為固守峽口，呂忠肅將自己私產(chǎn)全部捐出充軍，所以陳軍斗志頗高，防御也很嚴密。

開皇九年（589年）正月，楊素分兵一部與大將軍劉仁恩軍相配合，猛攻陳軍岸上柵障營壘，呂忠肅率軍據(jù)險抵抗，激戰(zhàn)四十余次，隋軍傷亡慘重，死五千余人。陳軍盡割死者之鼻以邀功求賞，激起隋軍憤怒，拚死力戰(zhàn)，多次獲勝。所俘陳軍將士，楊素則全部釋放。在隋軍猛烈攻擊下，呂忠肅被迫放棄營柵，連夜逃走。楊素令士卒毀掉欄江鐵索，繼續(xù)沿江而下。

呂忠肅退據(jù)荊門之延洲（今湖北枝江附近長江中），依恃荊門山險要地形，再次阻遏隋軍。楊素派善于駕舟的巴延士卒一千人，乘“五牙”戰(zhàn)艦四艘，用艦上拍竿擊碎陳戰(zhàn)船十余艘，俘二千余人，再次大破呂忠肅軍，呂忠肅只身逃走。駐守江南岸安蜀城（今湖北宜都西北長江南岸）的陳信州刺史顧覺，也棄城逃走。屯守公安（今湖北公安西北）的陳慧紀見形勢不利，燒掉儲蓄，率軍三萬、戰(zhàn)船千余艘，順流東撤，企圖入援建康（今南京市），被秦王楊俊軍阻于漢口（今湖北漢水入長江之處）以西。巴陵以東，無敢守者。陳湘州刺史、岳陽王陳叔慎亦降于楊素。此戰(zhàn)，楊素、劉仁恩以水軍、步兵相配合，先擊破陳軍江岸據(jù)點，再以水軍戰(zhàn)船接舷戰(zhàn)，大破敵軍。隋大型戰(zhàn)艦“五牙”及重型拍竿裝備在作戰(zhàn)中顯示了威力。優(yōu)俘政策對瓦解陳軍、配合軍事進攻，具有積極作用。至此，長江上游為隋軍所控制，阻止了上游陳軍的東援，保障了下游主力的渡江作戰(zhàn)。

隋軍在長江上游作戰(zhàn)獲勝后，楊素一面率主力沿江東下，與秦王楊俊會師于漢口（時下游隋軍已攻占建康），一面派兵南下略地，擴大戰(zhàn)果。二月初又派薛胄、劉仁恩率軍進擊湘州。隋軍一舉擊敗出城迎戰(zhàn)的陳湘州助防遂興侯陳正理和樊通軍，薛胄等乘勝入城，俘陳叔慎。劉仁思軍再破鄔居業(yè)于橫橋（今湖南常德），擒鄔居業(yè)等。湘州等地的平定，為隋進軍嶺南準備了前進基地。

還軍，楊素因戰(zhàn)功卓著被進爵郢國公，邑三千戶，真食長壽縣千戶。以其子楊玄感為儀同，楊玄獎為清河郡公。賜物萬段，粟萬石，加以金寶，又賜陳主妹及女妓十四人。楊素又上言：“鄉(xiāng)里名叫u2018勝母u2019，孝子曾子就不進去；叛逆之人王誼，以前曾分封于郢地，臣不想和他一樣。”于是改封越國公。同年六月，拜納言之職位。開皇十年（590年）七月，轉(zhuǎn)內(nèi)史令。

江南自東晉以來，世家士族一直欺壓寒門庶族。隋滅陳統(tǒng)一中國后，南方士族豪強因?qū)λ鍖嵭械南拗普�策不滿，便利用民間對隋欲移民關(guān)中流言的驚恐心理，乘機煽動叛亂。開皇十年（590年）十一月，婺州（治今浙江金華）人汪文進、越州（治今浙江紹興）人高智慧及蘇州人沈玄儈等均舉兵反隋，自稱天子，署置百官。蔣山（今南京鐘山）人李忮、樂安人（今浙江仙居西）蔡道人、溫州人沈孝徹、泉州（治今福州）人王國慶等，都自稱大都督，起兵攻陷州縣，反亂大抵遍及原陳屬地。其規(guī)模大者數(shù)萬人，小者數(shù)千人，互相呼應(yīng)，殘殺隋朝官吏。面對如此嚴峻的形式，楊堅遂命楊素為行軍總管率軍平叛。

楊素率軍由楊子津（今江蘇揚州南）渡江，首先擊破叛軍朱莫問（自稱南徐州刺史）于京口（今江蘇鎮(zhèn)江）。繼而擊敗晉陵（今江蘇常州）顧世興，顧世興率其都督鮑遷等再戰(zhàn)，楊素擊破之，俘鮑遷以下三千余人。又進擊無錫葉略，平之。時沈玄儈、沈杰等等正圍攻蘇州，刺史皇甫績屢戰(zhàn)不利，楊素軍趕到將其擊敗，沈玄儈逃至南沙人陸孟孫處，楊素進擊陸孟孫于松江，大破之，生擒陸孟孫、沈玄儈。黟、歙叛軍沈雪、沈能據(jù)柵自守，又攻拔之。

高智慧（自稱東揚州刺史）率部據(jù)守浙江（今錢塘江）東岸營壘，屯據(jù)要害，周圍百余里，船艦千艘，遮蓋江面，鼓噪而進。子總管來護兒建議：“吳人累銳，利于在舟楫作戰(zhàn)。必死的賊寇，難與爭鋒。您暫且嚴陣以待，切勿與其交鋒，請借我奇兵數(shù)千，悄悄渡過江，攻破他們的巢穴，讓他們退無所歸，進不得戰(zhàn)，這是韓信破趙的計策�！睏钏丶{其言，并命其率輕型戰(zhàn)船數(shù)百艘，偷渡浙江，以奇兵突襲，并焚燒高智慧后方營壘，使其恐懼不安；楊素則乘機率軍從正面突擊，大敗高智慧軍。爾后，楊素派行軍總管史萬歲率軍二千人進攻婺州，自率主力由海道追擊逃入海中的高智慧，直趨溫州。高智慧來戰(zhàn)，楊素將其擊敗，俘數(shù)千人。而后又平定蔡道人、汪文進。楊素在溫州擊敗沈孝徹后，便由陸路轉(zhuǎn)向天臺、臨海（今屬浙江），繼續(xù)追擊反隋散兵，前后戰(zhàn)斗達一百多次。高智慧退守閩、越。

此時隋文帝考慮到隋軍長時間征戰(zhàn)，便詔令楊素入朝。同時加其子楊玄感為上開府，賜彩物三千段。而楊素則認為：“賊寇的余部尚未殄滅，恐怕會成為后患。”便上書請求暫緩返京，繼續(xù)剿匪。隋文帝對楊素此舉非常贊賞，便下詔說：“朕憂勞百姓，日旰忘食，一物失所，情深納隍。江外狂狡，妄構(gòu)妖逆，雖經(jīng)殄除，民未安堵。猶有賊首兇魁，逃亡山洞，恐其聚結(jié)，重擾蒼生。內(nèi)史令、上柱國、越國公素，識達古今，經(jīng)謀長遠，比曾推轂，舊著威名，宜任以大兵，總為元帥，宣布朝風，振揚威武，擒剪叛亡，慰勞黎庶。軍民事務(wù)，一以委之”。楊素繼續(xù)率軍由會稽（今浙江紹興）走海道向泉州追擊。

當時泉州人王國慶為南安豪族，殺刺史劉弘，據(jù)州為亂，各處逃亡的叛軍皆附于他。王國慶自以為海路險阻，而隋軍多為北方人，不習海戰(zhàn)，遂不設(shè)防。楊素率水師從海道掩至，王國慶大驚，棄州逃跑，其眾或入海島，或守溪洞。于是楊素分遣諸將，水、陸分進追捕。并派人密勸王國慶：“你的罪狀，累計起來處以死刑還不夠。只有斬送高智慧，才可以抵塞罪責。”王國慶遂抓獲高智慧，送交隋軍，楊素將其斬首，余眾全部投降，至此，江南全部平定。此戰(zhàn)，楊素辭謝回朝休養(yǎng)詔令，堅持除惡務(wù)盡，連續(xù)追殲徹底平定江南之亂，對鞏固隋朝統(tǒng)一，發(fā)展生產(chǎn)具有積極作用。隋文帝派左領(lǐng)軍將軍獨孤陀迎至浚儀犒勞隋軍，待回京后，問者日至。隋文帝再封楊玄獎為儀同，賜黃金四十斤，加銀瓶，實以金錢，縑三千段，馬二百匹，羊二千口，公田百頃，宅一區(qū)。

開皇十二年（592年）十二月，楊素代蘇威為尚書右仆射，與尚書左仆射高颎同掌朝政。

楊素性疏而辯，朝臣之中，頗推高颎，尊敬牛弘，厚接薛道衡，蔑視蘇威。其余的大臣，只要與他有過節(jié)的人，楊素肯定會百般為難。其才藝風調(diào)，優(yōu)于高颎，至于治理國家，則遠不及高颎。

開皇十三年（593年）二月，隋文帝在岐州之北建仁壽宮，令楊素監(jiān)造。楊素奏請萊州刺史宇文愷檢校將作大匠，記室封德彝為土木監(jiān)。楊素為鞏固其政治利益，討好隋文帝，遂“夷山堙谷以立宮殿，崇臺累榭，宛轉(zhuǎn)相屬”。又“役使嚴急，丁夫多死，疲屯顛仆，推填坑坎，覆以土石，因而筑為平地。死者以萬數(shù)”。

開皇十五年（595年）三月，仁壽宮建成，隋文帝至仁壽宮。時值天熱，“役夫死者相次于道，楊素悉焚除之”。其殘暴程度令人發(fā)指。此前隋文帝先派高颎前去視察，高颎據(jù)實回報：“頗傷綺麗，大損人丁”，隋文帝心中不悅。待隋文帝至仁壽宮，見宮殿如此奢華，大怒道：“楊素殫民力為離宮，為吾結(jié)怨天下�！睏钏鼗炭譄o比，擔心受責備，一時束手無策，便向封德彝請教。封德彝為人邪辟，多陰謀，便對楊素說：“公勿憂，俟皇后至，必有恩詔�！睏钏丶从诒遍T拜見獨孤皇后說：“帝王理當有一些行宮、別墅，現(xiàn)在天下太平，我們僅僅修造了這么一座宮殿，哪里就談得上浪費了呢！” 次日，隋文帝果召楊素問之，獨孤皇后則在傍為楊素辨解：“楊公知道我們夫婦年老，沒有地方娛樂，盛飾此宮，難道不是忠孝嗎？”結(jié)果楊素不但沒有獲罪，反而被賜錢百萬，錦絹三千段。從此，楊素更得隋文帝的信任。而楊素則恃財凌物，對眾人多有凌侮，唯獨重賞了幫其大忙的封德彝。封德彝從此成為楊素的心腹，楊素常與其議論宰相職務(wù)，終日忘倦，還撫其床說：“封郎必當據(jù)吾此座�！狈獾乱驮跅钏氐耐扑]下，被隋文帝擢升為內(nèi)史舍人。

自開皇初年起，隋采納長孫晟之謀，一直對突厥施用離間計，使其內(nèi)部長期混戰(zhàn)不休。開皇十七年（597年），隋文帝允許都蘭可汗之弟突利可汗娶隋安義公主為妻，并故意予以優(yōu)厚禮遇，借以離間都蘭可汗。都蘭可汗果被激怒，乃斷絕朝貢，多次騷擾隋邊。

開皇十九年（599年，《隋書·楊素列傳》誤記為十八年）二月，突利可汗奏報都蘭可汗制造攻城器械，準備攻擊大同城（在今內(nèi)蒙烏拉特前旗東北）。隋文帝命漢王楊諒為元帥（實際未親臨前線），以楊素出靈州（治回樂，今寧夏靈武西南），尚書左仆射高颎出朔州（治善陽，今山西朔縣），上柱國燕榮出幽州（治薊縣，今北京城西南），三路進擊突厥。

都蘭可汗得知隋軍來攻，與達頭可汗結(jié)盟，合兵掩擊突利可汗。四月，楊素軍在靈州以北地區(qū)與達頭可汗部遭遇。在此之前，隋將在與突厥交戰(zhàn)時，因擔心突厥彪悍的騎兵來往沖殺，都采用戰(zhàn)車、騎兵和步兵相互交叉配合的陣法，陣外四周遍設(shè)鹿角、蒺藜等物，騎兵留在最里面。楊素認為：“這只是鞏固防御的途徑，而不是奪取勝利的方法。”于是拋棄這種自我保守的落后陣法，改變戰(zhàn)術(shù)，下令各軍擺開騎兵陣勢。

達頭可汗聞之大喜道：“這是天助我！”并下馬仰天而拜，即率十余萬精騎直撲隋軍。上儀同三司周羅睺看到突厥求勝心切，陣形不整，乃請令率精騎迎擊，楊素指揮大軍隨后繼進，大敗突厥，達頭可汗帶著重傷逃跑，其眾死傷不可勝數(shù)，號哭而去。另一路隋軍在高颎的率領(lǐng)下，也大破突厥，都蘭可汗敗逃，后被其部下所殺。隋軍追過白道（內(nèi)蒙呼和浩特西北），越過秦山（今內(nèi)蒙大青山）七百余里，然后還師。十月，隋冊封突利可汗為啟民可汗，并令長孫晟率五萬人在朔州西北筑大利城（今內(nèi)蒙古和林格爾西北土城子）給啟民可汗駐守，令其招撫突厥其它部落，為分化瓦解突厥，促進民族融合起了重要作用。楊素在此戰(zhàn)中，敢于棄陳舊落后的車、騎、步互相衛(wèi)護的保守陣法，大膽使用騎兵突擊，取得大勝，再一次顯了其杰出的軍事才能。戰(zhàn)后，隋文帝下詔褒獎，賜楊素縑二萬匹，及萬釘寶帶。加其子楊玄感位大將軍，楊玄獎、楊玄縱、楊積善皆為上儀同。

楊素很有隨機應(yīng)變的謀略，總是把握好時機去同敵人作戰(zhàn)，他應(yīng)對情況的變化并不拘泥于一定的方法，而控制軍隊嚴厲有序，如果有誰違犯了軍令，他就立即斬首，沒有寬容的。同時治軍嚴整，其部如有違犯軍令者，立斬不赦，而絕不寬容。每次作戰(zhàn)前都尋找士兵的過失，然后殺之。每次多者百余人，少也不下十幾人。由于殺人過多，以至“流血盈前”，而楊素卻言笑自若。兩軍對陣時，楊素先令一二百人前去迎敵，若取勝也就罷了，如不勝而敗逃者，無論多少，全部斬首。然后再令二三百人迎敵，不勝則照殺不誤。所以楊素的部下對他極其敬畏，作戰(zhàn)時皆抱必死之心，所以戰(zhàn)無不勝，稱為名將。楊素當時正受寵幸，隋文帝對他言聽計從，所以楊素征戰(zhàn)的將士，都微功必錄。而其他的將領(lǐng)雖有大功，但都被文官譴卻。所以楊素雖嚴厲兇狠，但由于他能夠恩威并施，所以將士皆愿隨其征戰(zhàn)。

開皇二十年（600年）四月，步迦可汗率兵進犯隋邊。隋文帝命楊素隋晉王楊廣出靈州（治回樂，今寧夏靈武西南），同時又令漢王楊諒、柱國史萬歲出朔州（治善陽，今山西朔縣），合擊步迦可汗。楊廣為培植自己的勢力，親自與楊素結(jié)交，楊素也知楊廣有奪位之心，遂投其門下。

仁壽初年（601年），楊素接替高颎任尚書左仆射。隋文帝賞賜給他好馬一百匹、母馬兩百匹、奴婢一百口。這一年，高祖又拜楊素為行軍元帥，前往云州攻打突厥，連連破敵。突厥逃跑，楊素率領(lǐng)騎兵緊追不舍，到夜里終于趕上。楊素想再次進攻，又怕敵人分散逃跑，就命令騎兵稍稍跟在后邊。他于是親自帶領(lǐng)兩名騎兵和兩個投降的突厥人潛入敵陣，同敵人一起前行，敵人沒有發(fā)覺。等到敵人停下來，止宿屯駐的地方還沒安排好，楊素命令后邊的騎兵突然襲擊，大敗他們。從此，突厥人逃得遠遠的，磧南再沒有他們的蹤跡了。

因為這次的戰(zhàn)功，隋文帝讓楊素的兒子楊玄感進位柱國，玄縱為淮南郡公，并賞賜給他織物兩萬段。

仁壽二年（602年），獨孤皇后去世后，墓葬的規(guī)模制度，大多出自楊素之手。隋文帝認為很好，下詔書大大表彰他的功勞，封他的一個兒子為義康郡公，食邑一萬戶，世代承襲，并賞賜給他良田三十頃，絹一萬段，米一萬石，金缽一個，裝滿了金子，銀缽一個，盛滿了珠寶，外加綾、錦共五百段。

當時楊素一天比一天顯貴榮耀，他的弟弟楊約、叔父楊文思、楊文紀以及族父楊異，都是尚書，位列公卿。諸子雖無汗馬之勞，也都官至柱國、刺史。楊素家童幾千人，后院披羅掛綺的樂妓小妾就以千計。府第華麗奢侈，規(guī)模體制摹仿皇宮。當時有一個叫鮑亨的人，很會寫文章，還有一個叫殷胄的，精通草書、隸書，都是江南的讀書人，卻因為高智慧的緣故埋沒為楊素的家奴。楊素的內(nèi)外親戚和過去屬下的官吏，都位列清靜顯要之職。楊素的顯貴，南北朝以來無人可與他相比。

楊廣剛做太子的時候，非常顧忌蜀王楊秀，就和楊素謀劃陷害他，最后使楊秀被廢黜。朝臣之中如果有違背冒犯他的，即使其非常忠誠地為國事著想，像賀若弼、史萬歲、李綱、柳述等，楊素也在暗地里中傷他們。如果歸附奉迎他或者是他親戚，即使無才可用，他也一定加以推薦提拔。朝廷內(nèi)外沒有不怕他、不歸附他的。只有兵部尚書柳述憑著自己駙馬的身份，多次在隋文帝面前說楊素的不是。大理寺卿梁毗上書隋文帝，彈劾楊素作威作福。隋文帝于是逐漸疏遠和猜忌楊素，后來下來力令說：“仆射是朝廷的輔政大臣，不可親自處理那些細小的事務(wù)，只須三五天到官署一次，討論一些國家大事就行了�！北砻嫔巷@示對他的尊崇、優(yōu)待，實際上剝奪了他的權(quán)力。

直到仁壽末，楊素不再處理事務(wù)。隋文帝曾賞賜王公以下的人射箭，楊素名列第一，隋文帝親將外國進貢來的金精盤，價值萬兩，賜給了楊素。

仁壽四年（604年），楊素跟隨隋文帝駕臨仁壽宮，隋文帝又多次賞賜宴席。等到隋文帝病重，楊素和兵部尚書柳述、黃門侍郎元巖等人入宮侍候。當時皇太子楊廣住在宮內(nèi)的大寶殿，怕隋文帝有什么不好的消息須要預(yù)先防備，于是親自寫了一封信，封好送出來問楊素。楊素記下宮外的形勢，來報告太子。宮人卻將回信誤送到了隋文帝的住處，隋文帝見信大怒。這時，隋文帝寵愛的陳貴人又說太子對她無禮。隋文帝于是大發(fā)脾氣，要召見已廢的皇子楊勇。

太子與楊素謀劃對策，楊素假傳圣旨派東宮的士兵入宮守衛(wèi)，出入都由宇文述、郭衍決定，又命令張衡守候隋文帝的病情。隋文帝就在這天晚上駕崩了，因此朝廷內(nèi)外有很多非議。

仁壽四年（604年），隋文帝駕崩后，楊廣登基，派車騎將軍屈突通帶著隋文帝的詔書，召楊諒回朝。楊諒知有異，不聽從遂起兵反叛。楊諒命蠕蠕天保占領(lǐng)蒲州，燒斷了河橋，又派王耳冉子率領(lǐng)幾萬人與他合力防守。楊素率領(lǐng)五千輕騎前去偷襲，他先隱蔽在渭口，夜間悄悄渡河，黎明時發(fā)動進攻，蠕蠕天保大敗而逃，王耳冉子因害怕而開城投降。楊廣下詔書召回楊素。

起初，楊素出發(fā)之前就計算過幾天可以打敗敵人，結(jié)果不出所料。楊廣又拜楊素為并州道行軍總管、河北安撫大使，率領(lǐng)幾萬人討伐楊諒。當時晉州、絳州、呂州州城都被楊諒守住，楊素各派兩千人去牽制他們。楊諒命令趙子開擁十余萬之眾，占領(lǐng)了所有的道路，盤踞在高壁，擺開五十里的戰(zhàn)陣。楊素命令部將帶兵正面對敵，自己則率領(lǐng)一支隊伍潛入霍山，沿著懸崖深谷前進，直搗叛軍老巢，一舉擊敗了他們，殺死殺傷的數(shù)以萬計。楊諒所任命的介州刺史梁修羅駐守在介休，梁修羅聽說楊素來了，非常害怕，棄城而逃。楊素繼續(xù)前進，到達清源，離并州還有三十里。楊諒率領(lǐng)部將王世宗、趙子開、蕭摩訶等將近十萬人馬，前來迎戰(zhàn)，楊素又打敗了他們，活捉了蕭摩訶。楊諒?fù)耸夭⒅荩瑮钏剡M兵包圍了他，楊諒無計可施，非常窘迫，只好投降，其余黨羽也都一一鏟平。

楊廣派遣楊素的弟弟修武公楊約攜帶親筆詔書慰勞楊素，楊素見詔后也上表陳述了自己的謝意。這個月楊素回到京城，跟隨楊廣抵達洛陽。楊廣任楊素為營建東京的大監(jiān)。因楊素平定楊諒有功，煬帝拜他的兒子萬石、仁行，侄子玄挺都為儀同三司，并賜給他們織物五萬段、綺羅一千匹，賜楊諒妓妾二十人。

大業(yè)元年（605年），又升楊素為尚書令，賞賜給他東京上等府第一處，織物兩千段。不久又拜為太子太師，其他職務(wù)不變，前后賞賜給他的東西不計其數(shù)。

大業(yè)二年（606年），楊廣拜楊素為司徒，又改封他為楚國公，食邑兩千五百戶。同年，楊素在任上逝世。楊廣追贈他為光祿大夫、太尉公及弘農(nóng)、河東、絳郡、臨汾、文城、河內(nèi)、汲郡、長平、上黨、西河等十郡太守，謚號“景武”，賜給他載喪的鍂車、為他執(zhí)斑劍的儀仗四十人，以及鍂車前后的儀仗隊和樂隊，還賜給谷子小麥五千石、織物五千段，派鴻臚卿專門監(jiān)督辦理喪事，并且下詔書表示哀悼。

楊素曾經(jīng)作了一首共七百字的五言詩送給番州刺史薛道衡，氣勢非常宏大，風韻出眾，堪稱一時的上乘之作。寫后沒幾天，楊素就死了。薛道衡嘆息說：“人快要死的時候，他的話語也變得很友善了，難道就是像這樣的嗎？”楊素留有文集十卷。楊素雖然有輔佐隋文帝建國立業(yè)的謀略，并且有平定楊諒的功績，然而卻深為楊廣所忌。楊廣面顯出對他特殊的禮遇，實際上恩情卻很淡薄。太史官說隋地所屬的分野將有重大的喪事發(fā)生，楊廣因而改封楊素為楚公，因為楚地和隋地屬同一分野，楊廣想借楊素來攔擋遭喪的運氣。

楊素臥病在床的時候，楊廣常派一些有名的醫(yī)生前去診治侍候，并且賜他許多上好的藥品，然而卻總在暗地里問醫(yī)生，總怕他不死去。

楊素知道自己的名望和地位已到了極限，不肯吃藥，也不想謹小慎微地活下去了，經(jīng)常對弟弟楊約說：“我難道還要活下去嗎？”楊素依仗自己富足的錢財，廣求家產(chǎn)，東西二京他的居宅奢侈華麗，早晨拆毀晚上重建，營造修繕從不停止，在各方的大城市，他的旅店、水磨和肥沃的田地、華麗的房子都以千百來計算。當時人們議論紛紛，并且因此而瞧不起他。楊素死后，長子楊玄感繼承了他的爵位。后來楊玄感起兵事敗，遭到誅殺，楊素的家族也因受楊玄感的牽連都被株夷。

楊素出身北朝士族，北周時參加滅北齊之役。大象二年（580年），隨行軍元帥韋孝寬平定相州總管尉遲迥叛亂。旋拜大將軍，領(lǐng)河內(nèi)兵進攻響應(yīng)尉遲迥的滎州刺史宇文胄。

仁壽四年（604年），漢王楊諒起兵反叛，楊素領(lǐng)兵數(shù)萬擊擒楊諒，平其眾。開皇七年（587年），楊素與賀若弼等多次獻上滅陳之策，并于永安（今四川奉節(jié)東）造大艦，作滅陳準備。開皇八年（588年），楊素為行軍元帥，領(lǐng)水軍自永安沿長江東下，大舉進攻陳朝。十二月，大敗陳將戚昕于狼尾灘（今湖北宜昌縣西北）。次年順江而下，與秦王楊俊會兵于漢口（今屬湖北）。開皇十年（590年）十一月，江南各地士族豪強聚眾反隋，攻占州縣。楊素任行軍總管，率兵分路進擊，平定江南。

楊寬：處道當逸群絕倫，非常之器，非汝曹所逮也。

楊堅：越國公素，志度恢弘，機鑒明遠，懷佐時之略，包經(jīng)國之才。王業(yè)初基，霸圖肇建，策名委質(zhì)，受脤出師，擒剪兇魁，克平虢、鄭。頻承廟算，揚旍江表，每稟戎律，長驅(qū)塞陰，南指而吳越肅清，北臨而獯獫摧服。自居端揆，參贊機衡，當朝正色，直言無隱。論文則詞藻縱橫，語武則權(quán)奇間出。

楊廣：①公乃先朝功臣，勛庸克茂。至如皇基草創(chuàng)，百物惟始，便匹馬歸朝，誠識兼至。汴部鄭州，風卷秋籜，荊南塞北，若火燎原，早建殊勛，夙著誠節(jié)。及獻替朝端，具瞻惟允，爰弼朕躬，以濟時難，昔周勃、霍光，何以加也�、诿�績元勛，劬勞王室，竭盡誠節(jié)，協(xié)贊朕躬。故以道邁三杰，功參十亂。

賀若弼：楊素是猛將，非謀將；韓擒是斗將，非領(lǐng)將；史萬歲是騎將，非大將。

梁毗：①幸遇愈重，權(quán)勢日隆，所私皆非忠讜，所進咸是親戚，子弟布州，兼州連縣。天下無事，容息奸圖，四海稍虞，必為禍始。②素既擅權(quán)寵，作威作福，將領(lǐng)之處，殺戮無道。又太子、蜀王罪廢之日，百僚無不震悚，唯素揚眉奮肘，喜見容色，利國家有事以為身幸。

魏徵《隋書》：楊素少而輕俠，俶儻不羈，兼文武之資，包英奇之略，志懷遠大，以功名自許。高祖龍飛，將清六合，許以腹心之奇，每當推彀之重。掃妖氛于牛斗，江海無波；摧驍騎于龍庭，匈奴遠遁�？计湟膬挫o亂，功臣莫居其右；覽其奇策高文，足為一時之杰。然專以智詐自立，不由仁義之道，阿諛時主，高下其心。營構(gòu)離宮，陷君于奢侈；謀廢冢嫡，致國于傾危。終使宗廟丘墟，市朝霜露，究其禍敗之源，實乃素之由也。幸而得死，子為亂階，墳土未干，闔門殂戮，丘隴發(fā)掘，宗族誅夷。則知積惡馀殃，信非徒語。多行無禮必自及，其斯之謂歟！約外示溫柔，內(nèi)懷狡算，為蛇畫足，終傾國本，俾無遺育，宜哉。

杜牧：周有齊太公，秦有王翦，兩漢有韓信、趙充國、耿恭、虞詡、段颎，魏有司馬懿，吳有周瑜，蜀有諸葛武侯，晉有羊祜、杜公元凱，梁有韋睿，元魏有崔浩，周有韋孝寬，隋有楊素，國朝有李靖、李勣、裴行儉、郭元振。如此人者，當此一時，其所出計畫，皆考古校今，奇秘長遠，策先定於內(nèi)，功后成於外。

何去非：昔者楊素之于隋，可謂一代之名將矣。而賀若弼評之，謂其特猛將耳，非所謂謀將也。甚哉！弼之過于自負而輕于議人也。隋自平陳之后，素已為統(tǒng)帥矣。其克敵斬將，攻策為多。既俘陳主，而江湖海岱群盜蜂起，大者數(shù)萬，小者數(shù)千，而素專閫外之權(quán)，轉(zhuǎn)戰(zhàn)萬里，窮越嶺海，無向不滅。已而突厥犯塞，宗室稱兵，而社稷危矣。素之授鉞專征，其所摧陷者不可勝計，遂靖邊氛，而清內(nèi)難。然素之兵未嘗小衄，隋功臣無與比肩者，其為烈亦至矣。

張預(yù)：楊素，字處道，弘農(nóng)華陰人也。少落拓，有大志，不拘小節(jié)。好學，善屬文，頗留意于風角。美須髯，有英杰之表。孫子曰：“能使敵人自至者，利之也�！彼爻�去鹿角而至突厥。又曰：“法令孰行？”素求人過失而斬之。又曰：“勝兵先勝而后戰(zhàn)�！彼赜嬋掌瀑\，皆如所量。又曰：“由不虞之道，攻其所不戒�！彼鼐壯鹿榷�進，直指其營是也。

葉適：自古小人無材無功者為佞諛傾覆，有材有功者即為奸雄簒竊。楊素材而功適當其主，未可欺奪之時，故見于行事，徒佞諛傾覆而已。使伡駛岫�垫V〕眩�曹操、司马軅}�瘤崿王敦、桓翁敾组`�也。凶燌c匯�，传又k擁�，大呼寿Y攏�卒裔j鏊�，又何株P(guān)�谀倾覆而组捳？葔谋其时，隋人无能知諗]�独覝o號�尔�?/p>

陳元靚：軍書立草，風角單情。隋祖見器，親委戎兵。陳人送疑，畏若神明。服勤韜畧，實得其英。

王世貞：自昔倚馬占檄，橫槊賦詩，曹孟德、李少卿、桓靈寶、楊處道之外，能復(fù)有幾？自非本色故足貽姍。

王夫之：隋之諸臣，唯素之不可托也為最，非但颎、弼、德林之不屑與伍，即以視劉昉、鄭譯猶有懸絕之分。何也？素者，天下古今之至不仁者也。其用兵也，求人而殺之以立威，使數(shù)百人犯大敵，不勝而俱斬之，自有兵以來，唯尉繚言之，唯素行之，蓋無他智略，唯忍于自殺其人而已矣。其營仁壽宮也，丁夫死者萬計，皆以殺人而速奏其成，曠古以來，唯以殺人為事者更無其匹。

鄭觀應(yīng)：古之所謂將才者，曰儒將、曰大將、曰才將、曰戰(zhàn)將。孫臏、吳起、白起、耿弇、楊素、慕容紹宗、李光弼、馬燧等，才將也。

曾國藩：古來如李斯、曹操、董卓、楊素，其智力皆橫絕一世，而其禍敗亦迥異尋常。近世如陸、何、肅、陳亦皆予知自雄，而俱不保其終。故吾輩在自修處求強則可，在勝人處求強則不可。

建中三年（782年），禮儀使顏真卿向唐德宗建議，追封古代名將六十四人，并為他們設(shè)廟享奠，當中就包括“隋司空尚書令越國公楊素”。與楊素同時代被列入廟享名單的只有韓擒虎、史萬歲、賀若弼三人。

宣和五年（1123年），宋室依照唐代慣例，為古代名將設(shè)廟，七十二位名將中亦包括楊素。在北宋年間成書的《十七史百將傳》中，楊素亦位列其中。

《山齋獨坐贈薛內(nèi)史二首》

《贈薛播州》

《送蔡君知入蜀》

《賦得笛詩》

《贈薛內(nèi)史詩》

《出塞二首》

陳朝太子舍人徐德言的妻子是后主叔寶的妹妹樂昌公主，才貌極為出色。徐德言當太子舍人這個時候，正趕上陳朝衰敗，時局很亂的時期，無法保證國家和個人的安全。徐德言對妻子說："以你的才華和容貌，如果國家滅亡了，你一定會流落到有權(quán)有勢的富豪人家，恐怕我們會永遠分離。倘若我們的緣分沒斷，還能相見，應(yīng)該有一個信物。"于是徐德言折斷一面銅鏡，夫妻兩人各拿一半。他又同妻子約定說："將來你一定要在正月十五那一天將鏡片在街上出售，如果我見到了，就會在當天去找你。"等到陳朝滅亡了，樂昌公主果然流落到越公楊素的家里，楊素對她非常寵愛。徐德言流離失所，好不容易才來到京城。他于正月十五這天到市場上尋找，果然有一個仆人模樣的老頭出售一片一半的鏡子，而且要價非常高，人們都嘲笑他。徐德言將老人帶到自己的住處，給老頭吃飯，講述了自己的經(jīng)歷。拿出自己那一半鏡子和老頭賣的那半鏡子合在一起，并在鏡子上題了一首詩："鏡子和人都離我而去，如今鏡子回來人卻未歸，鏡子上已映不出嫦娥的倩影，只能反射出一片月光。"陳朝的樂昌公主陳氏看到題詩以后，哭哭啼啼地不肯吃飯，楊素了解情況以后也非常傷感，派人將徐德言找來，決定將妻子還給他，并送給他們許多錢物。聽說這件事的人沒有不贊嘆的。楊素設(shè)酒宴為徐德言和陳氏餞行，并叫陳氏也作了一首詩："今天是什么特殊的日子，新丈夫面對舊丈夫，哭也不是笑也不是，這才知道作人的艱難。"然后陳氏和徐德言回到江南，一直到白頭偕老。

李德林之子李百藥，少年倜儻，看上了楊素的一個寵妾。竟夜入楊宅，與楊素的寵妾幽會私通。結(jié)果東窗事發(fā)，被楊素逮個正著。楊素惱羞成怒，欲治李百藥死罪。當李百藥被推上來時，他發(fā)現(xiàn)李百藥是個“年未二十，儀神雋秀”的英俊少年郎，不禁惜才之情頓起，動了惻隱之心說：“聞汝善為文，可作詩自敘，稱吾意當免汝死�！崩畎偎幧�死關(guān)頭，才思忽至，一氣呵成，當即成文。楊素看完，表情欣然，當場把愛妾賜給李百藥為妻，“并資從數(shù)十萬”。后來楊素竟又奏請隋文帝，授李百藥為尚書禮部員外郎。李百藥財色兼收，而且還因此當了官，成為一時佳話。

楊素身邊有一位年方二八的佳麗樂伎，名叫紅拂。生得“肌膚儀狀、言詞氣佳，真天人也”。紅拂很有見識，識得英雄。趁李靖再次拜訪楊素之機，相約私奔了。楊素非但不追究此事，反而推薦李靖出任馬邑的郡丞。楊素就這樣又成全造就了一段才子佳人的愛情佳話。后來李靖果然成了唐朝的股肱之臣。

鄭祁耶，北魏開府儀同三司、司農(nóng)卿鄭道穎的孫女。

楊約，字惠伯，楊素的同父異母弟弟。

楊玄感，長子，洛陽起兵失敗死。

楊玄縱，二子，洛陽起兵失敗后被斬首。

楊玄挺，三子，洛陽起兵失敗戰(zhàn)死。

楊玄獎，洛陽起兵失敗后被斬首。女楊氏為唐太宗嬪妃。

楊萬項，洛陽起兵失敗后被斬首。

楊民行，洛陽起兵失敗后被斬首。

楊積善，洛陽起兵失敗后自殺未遂，后被車裂而死。

楊氏，后為唐高祖楊嬪，生江王李元祥。