開元初年，為吏部侍郎，加銀青光祿大夫，累封常山縣公。兼昭文館學(xué)士，三遷秘書監(jiān)。玄宗時(shí)（約715年前后）與褚無量同為侍讀，領(lǐng)校秘書。當(dāng)時(shí)秘書省典籍散落，條貫無序。他上疏說：南齊以前墳籍，歸編王儉《七志》，以后著作，其數(shù)盈多。望括儉近書篇目，并前志所遺者，續(xù)儉《七志》，藏于秘府。玄宗命他為修圖書使，令國(guó)子博士韋知章、王愜、殷踐猷、韋述、余欽、毋煚等宿學(xué)名儒20余人分部校檢。后又封他為秘書監(jiān)，主管全國(guó)圖書文獻(xiàn)征集和整理之事。自開元五年（717）始，于東都“乾元殿”部匯整理。又奏秘書少監(jiān)盧俌、崔沔為修圖書副使，又借民間異本傳錄。而他不善著述，未及成目錄而病卒。但為后來元行沖作《群書四部錄》和毋煚作《古今目錄》奠定了基礎(chǔ)。

《舊唐書·卷一百二·列傳第五十二》：

馬懷素，潤(rùn)州丹徒人也。寓居江都，少師事李善。家貧無燈燭，晝采薪蘇，夜燃讀書，遂博覽經(jīng)史，善屬文。舉進(jìn)士，又應(yīng)制舉，登文學(xué)優(yōu)贍科，拜郿尉，四遷左臺(tái)監(jiān)察御史。

長(zhǎng)安中，御史大夫魏元忠為張易之所構(gòu)，配徙嶺表，太子仆崔貞慎、東宮率獨(dú)孤祎之餞于郊外。易之怒，使人誣告貞慎等與元忠同謀，則天令懷素按鞫，遣中使促迫，諷令構(gòu)成其事，懷素執(zhí)正不受命。則天怒，召懷素親加詰問，懷素奏曰："元忠犯罪配流，貞慎等以親故相送，誠(chéng)為可責(zé)，若以為謀反，臣豈誣罔神明？昔彭越以反伏誅，欒布奏事于其尸下，漢朝不坐，況元忠罪非彭越，陛下豈加追送之罪。陛下當(dāng)生殺之柄，欲加之罪，取決圣衷可矣。若付臣推鞫，臣敢不守陛下之法？"則天意解，貞慎等由是獲免。時(shí)夏官侍郎李迥秀恃張易之之勢(shì)，受納貨賄，懷素奏劾之，迥秀遂罷知政事。懷素累轉(zhuǎn)禮部員外郎，與源乾曜、盧懷慎、李杰等充十道黜陟使。懷素處事平恕，當(dāng)時(shí)稱之。使還，遷考功員外郎。時(shí)貴戚縱恣，請(qǐng)托公行，懷素?zé)o所阿順，典舉平允，擢拜中書舍人。開元初，為戶部侍郎，加銀青光祿大夫，累封常山縣公，三遷秘書監(jiān)，兼昭文館學(xué)士。

懷素雖居吏職，而篤學(xué)，手不釋卷，謙恭謹(jǐn)慎，深為玄宗所禮，令與左散騎常侍褚無量同為侍讀。每次閣門，則令乘肩輿以進(jìn)。上居別館，以路遠(yuǎn)，則命宮中乘馬，或親自送迎，以申師資之禮。是時(shí)秘書省典籍散落，條疏無敘，懷素上疏曰："南齊已前墳籍，舊編王儉《七志》。已后著述，其數(shù)盈多，《隋志》所書，亦未詳悉。或古書近出，前志闕而未編；或近人相傳，浮詞鄙而猶記。若無編錄，難辯淄、澠。望括檢近書篇目，并前志所遺者，續(xù)王儉《七志》，藏之秘府。"上于是召學(xué)涉之士國(guó)子博士尹知章等，分部撰錄，并刊正經(jīng)史，粗創(chuàng)首尾。會(huì)懷素病卒，年六十，上特為之舉哀，廢朝一日，贈(zèng)潤(rùn)州刺史，謚曰文。

九日幸臨渭亭登高應(yīng)制得酒字

睿賞葉通三，宸游契重九。

蘭將葉布席，菊用香浮酒。

落日下桑榆，秋風(fēng)歇楊柳。

幸齊東戶慶，希薦南山壽。

奉和九月九日登慈恩寺浮圖應(yīng)制

季月啟重陽，金輿陟寶坊。

御旗橫日道，仙塔儼云莊。

帝蹕千官?gòu)�，乾詞七曜光。

顧慚文墨職，無以頌時(shí)康。