字思明，吳興武康人也。祖寂，晉光祿勛。父宣，新安太守。懷文少好玄理，善為文章，嘗為楚昭王二妃詩，見稱于世。初州辟從事，轉(zhuǎn)西曹，江夏王義恭司空行參軍，隨府轉(zhuǎn)司徒參軍事，東閣祭酒。丁父憂，新安郡送故豐厚，奉終禮畢，余悉班之親戚，一無所留。

太祖聞而嘉之，賜奴婢六人。服闋，除尚書殿中郎。隱士 雷次宗被征居鐘山，后南還廬岳， 何尚之設祖道，文義之士畢集，為連句詩，懷文所作尤美，辭高一座。以公事例免，同輩皆失官，懷文乃獨留。隨王誕鎮(zhèn)襄陽，出為后軍主簿，與諮議參軍 謝莊共掌辭令，領義成太守。 元嘉二十八年，誕當為廣州，欲以懷文為南府記室，先除通直郎，懷文固辭南行，上不悅。

宋書弟懷遠納 東陽公主養(yǎng)女王鸚鵡為妾。元兇行巫蠱，鸚鵡預之，事泄，懷文因此失調(diào)，為 治書侍御史。元兇弒立，以為中書侍郎。世祖入討，劭呼之使作符檄，懷文固辭，劭大怒，投筆于地曰：“當今艱難，卿欲避事邪！”旨色甚切。值 殷沖在坐，申救得免。托疾落馬，間行奔新亭。以為竟陵 王誕衛(wèi)軍記室參軍、新興太守。又為誕驃騎 錄事參軍、淮南太守。時國哀未釋，誕欲起內(nèi)齋，懷文以為不可，乃止。尋轉(zhuǎn)揚州 治中從事史。

宋書時議省錄尚書，懷文以為非宜，上議曰：“昔天官正紀，六典序職，載師掌均，七府成務，所以翼平辰衡，經(jīng)贊邦極。故總屬之原，著夫官典，和統(tǒng)之要，昭于國言。夏因虞禮，有深冢司之則；周承殷法，無損掌邦之儀。用乃調(diào)佐 王均，緝亮帝度。而式憲之軌，弘正漢庭；述章之范，崇明魏室。雖條錄之名，立稱于中代，總厘之實，不愆于自，比代相沿，歷朝罔貳。及乎爵以事變，級以時改，皆興替之道，無害國章，八統(tǒng)元任，靡或省革。按臺輔之職，三曰禮典，以和邦國，以統(tǒng)百官。四曰政典，以平邦國，以正百官。鄭康成云u2018冢宰之于庶僚，無所不總也。u2019考于茲義，備于典文，詳準今，不宜虛廢�！辈粡�。遷 別駕從事史，江夏王義恭遷，西陽王子尚為揚州，居職如故。

宋書時熒惑守南斗，上乃廢西州舊館，使子尚移居東城以厭之。懷文曰：“天道示變，宜應之以德。今雖空西州，恐無益也。”不從，而西州竟廢矣。大明二年，遷 尚書吏部郎。時朝議欲依古制置 王畿，揚州移治會稽，猶以星變故也。懷文曰：“周制封畿，漢置司隸，各因 時宜，非存相反，安民寧國，其 揆一也。茍民心所安，天亦從之，未必改今追古，乃致平壹。神州舊壤，歷代相承，異于邊州，或罷或置，既物情不說，容虧化本�！庇植粡摹Ｈ�年，子尚移鎮(zhèn)會稽，遷 撫軍長史，行府州事。時囚系甚多，動經(jīng)年月，懷文到任，訊五郡九百三十六獄，眾咸稱平。

宋書入為侍中，寵待隆密，將以為會稽，其事不行。竟陵 王誕據(jù)廣陵反，及城陷，士庶皆裸身鞭面，然后加刑，聚所殺人首于石頭南岸，謂之髑髏山。懷文陳其不可，上不納。揚州移會稽，上忿浙江東人情不和，欲貶其勞祿，唯西州舊人不改。懷文曰：“揚州徒治，既乖民情，一州兩格，尤失大體。臣謂不宜有異。”上又不從。

宋書懷文與 顏竣、周朗素善，竣以失旨見誅，朗亦以忤意得罪，上謂懷文曰：“竣若知我殺之，亦當不敢如此�！睉盐哪�然。嘗以 歲夕與 謝莊、 王景文、 顏師伯被敕入省，未及進，景文因言次稱竣、朗人才之美，懷文與相酬和，師伯后因語次白上，敘景文等此言。懷文屢經(jīng)犯忤，至此上倍不說。上又壞諸郡士族，以充將吏，并不服役，至悉逃亡，加以嚴制不能禁。乃改用軍法，得便斬之，莫不奔竄山湖，聚為盜賊。懷文又以為言。齋庫上絹，年調(diào)鉅萬匹，綿亦稱此。期限嚴峻，民間買絹一匹，至二三千，綿一兩亦三四百，貧者賣妻兒，甚者或自縊死。懷文具陳民困，由是綿絹薄有所減，俄復舊。子尚諸皇子皆置邸舍，逐什一之利，為患遍天下。懷文又言之曰：“列肆販賣，古人所非，故 卜式明不雨之由，弘羊受致旱之責。若以用度不充，頓止為難者，故宜量加減省。”不聽。

宋書孝建以來，翼諸弟，廣陵平后，復欲更峻其科。懷文曰：“漢明不使其子比 光武之子，前史以為美談。陛下既明管、蔡之誅，愿崇唐、衛(wèi)之寄�！奔昂Ａ晖跣菝�誅，欲遂前議，太宰江夏王義恭探得密旨，先發(fā)議端，懷文固謂不可，由是得息。

宋書時游幸無度，太后及六宮常乘副車在后，懷文與 王景文每陳不宜亟出。后同從坐松樹下，風雨甚驟。景文曰：“卿可以言矣。”懷文曰：“獨言無系，宜相與陳之�！� 江智淵臥草側(cè)，亦謂言之為善。俄而被召俱入雉場，懷文曰：“風雨如此，非圣躬所宜冒。”景文又曰：“懷文所啟宜從�！敝菧Y未及有言，上方注弩，作色曰：“卿欲效顏竣邪？何以恒知人事�！庇衷唬骸邦伩⑿∽樱�恨不得鞭其面！”上每宴集，在坐者咸令 沈醉，懷文素不飲酒，又不好戲調(diào)，上謂故欲異己。 謝莊嘗誡懷文曰：“卿每與人異，亦何可久�！睉盐脑唬骸拔嵘賮砣绱�，豈可一朝而變。非欲異物，性所得耳�！�

宋書五年，乃出為晉安王子勛征虜長史、廣陵太守。明年，坐朝正，事畢，被遣還北，以女病求申。臨辭，又乞停三日，訖猶不去。為有司所糾，免官，禁錮十年，既被免，買宅欲還東。上大怒，收付廷尉，賜死，時年五十四。三子：淡、淵、沖。

弟懷遠，為始興王浚征北長流參軍，深見親待。坐納 王鸚鵡為妾，世祖徙之廣州，使廣州刺史 宗愨于南殺之。會南郡王義宣反，懷遠頗閑文筆，愨起義，使造檄書，并銜命至始興，與始興相 沈法系論起義事。事平，愨具為陳請，由此見原；終世祖世不得還。懷文雖親要，屢請終不許。前廢帝世，流徙者并聽歸本，官至武康令。撰《南越志》及懷文文集，并傳于世。