開元初年，為吏部侍郎，加銀青光祿大夫，累封常山縣公。兼昭文館學士，三遷秘書監(jiān)。玄宗時（約715年前后）與褚無量同為侍讀，領(lǐng)校秘書。當時秘書省典籍散落，條貫無序。他上疏說：南齊以前墳籍，歸編王儉《七志》，以后著作，其數(shù)盈多。望括儉近書篇目，并前志所遺者，續(xù)儉《七志》，藏于秘府。玄宗命他為修圖書使，令國子博士韋知章、王愜、殷踐猷、韋述、余欽、毋煚等宿學名儒20余人分部校檢。后又封他為秘書監(jiān)，主管全國圖書文獻征集和整理之事。自開元五年（717）始，于東都“乾元殿”部匯整理。又奏秘書少監(jiān)盧俌、崔沔為修圖書副使，又借民間異本傳錄。而他不善著述，未及成目錄而病卒。但為后來元行沖作《群書四部錄》和毋煚作《古今目錄》奠定了基礎(chǔ)。

《舊唐書·卷一百二·列傳第五十二》：

馬懷素，潤州丹徒人也。寓居江都，少師事李善。家貧無燈燭，晝采薪蘇，夜燃讀書，遂博覽經(jīng)史，善屬文。舉進士，又應(yīng)制舉，登文學優(yōu)贍科，拜郿尉，四遷左臺監(jiān)察御史。

長安中，御史大夫魏元忠為張易之所構(gòu)，配徙嶺表，太子仆崔貞慎、東宮率獨孤祎之餞于郊外。易之怒，使人誣告貞慎等與元忠同謀，則天令懷素按鞫，遣中使促迫，諷令構(gòu)成其事，懷素執(zhí)正不受命。則天怒，召懷素親加詰問，懷素奏曰："元忠犯罪配流，貞慎等以親故相送，誠為可責，若以為謀反，臣豈誣罔神明？昔彭越以反伏誅，欒布奏事于其尸下，漢朝不坐，況元忠罪非彭越，陛下豈加追送之罪。陛下當生殺之柄，欲加之罪，取決圣衷可矣。若付臣推鞫，臣敢不守陛下之法？"則天意解，貞慎等由是獲免。時夏官侍郎李迥秀恃張易之之勢，受納貨賄，懷素奏劾之，迥秀遂罷知政事。懷素累轉(zhuǎn)禮部員外郎，與源乾曜、盧懷慎、李杰等充十道黜陟使。懷素處事平恕，當時稱之。使還，遷考功員外郎。時貴戚縱恣，請托公行，懷素無所阿順，典舉平允，擢拜中書舍人。開元初，為戶部侍郎，加銀青光祿大夫，累封常山縣公，三遷秘書監(jiān)，兼昭文館學士。

懷素雖居吏職，而篤學，手不釋卷，謙恭謹慎，深為玄宗所禮，令與左散騎常侍褚無量同為侍讀。每次閣門，則令乘肩輿以進。上居別館，以路遠，則命宮中乘馬，或親自送迎，以申師資之禮。是時秘書省典籍散落，條疏無敘，懷素上疏曰："南齊已前墳籍，舊編王儉《七志》。已后著述，其數(shù)盈多，《隋志》所書，亦未詳悉�；蚬艜�近出，前志闕而未編；或近人相傳，浮詞鄙而猶記。若無編錄，難辯淄、澠。望括檢近書篇目，并前志所遺者，續(xù)王儉《七志》，藏之秘府。"上于是召學涉之士國子博士尹知章等，分部撰錄，并刊正經(jīng)史，粗創(chuàng)首尾。會懷素病卒，年六十，上特為之舉哀，廢朝一日，贈潤州刺史，謚曰文。

九日幸臨渭亭登高應(yīng)制得酒字

睿賞葉通三，宸游契重九。

蘭將葉布席，菊用香浮酒。

落日下桑榆，秋風歇楊柳。

幸齊東戶慶，希薦南山壽。

奉和九月九日登慈恩寺浮圖應(yīng)制

季月啟重陽，金輿陟寶坊。

御旗橫日道，仙塔儼云莊。

帝蹕千官從，乾詞七曜光。

顧慚文墨職，無以頌時康。