唐德宗貞元初年，李泌任陜虢觀察水陸運使，李素就在李泌手下工作，后來升遷為京兆鄂尉，主管萬年簿。唐憲宗元和初年，衢州發(fā)生饑荒，李素任衢州刺史，后又遷蘇州。元和二年，鹽鐵轉運使李翁謀反，各州刺史都束手無策，不敢同李鏑交鋒。李素帶領左右兵將，同賊將姚志安在州門大戰(zhàn)。李素戰(zhàn)敗后，嚴裝端立，大聲批駁姚志安等人的謀反之罪。賊兵將等都不敢上前，不敢用兵器脅迫。李素被鐐銬鎖住后，綁在船舷上。賊兵北上，還沒有到達京師的時候，就被官軍打敗。李素也得到解救。他被百姓抱扶住，受到迎接，唐憲宗還派貴人攜帶紫衣和金魚賞賜給李素。元和五年，李素任河南少尹，行大尹的權力，每年減免百姓賦稅五十萬，還請求朝廷緣征賦稅一個月。皇帝明白李素體察民生的用意，就下詔書令天下賦稅都緣征一個月。李素處理事務，毫不張揚，卻常常名揚天下。