懷恩初以蔭授太子洗馬。咸亨初，累轉尚乘奉御，襲爵盧國公。時有奉乘安畢羅善于調馬，甚為高宗所寵。懷恩奏事，遇畢羅在帝左右戲無禮，懷恩退而杖之四十。高宗知而嗟賞之，謂侍臣曰：“懷恩乃能不避強御，真良吏也�！奔慈瞻萑f年令。為政清肅，令行禁止，前后京縣令無及之者。后歷慶、萊、衛(wèi)、邢四州刺史，洛州長史。

懷恩姿狀雄毅，束帶之后，妻子不敢仰視。所歷皆以威名御下，人吏重足而立。俄出為宋州刺史。時汴州刺史 楊德干亦以嚴肅與懷恩齊名。至是懷恩路由汴州，德干送之出郊，懷恩見新橋中途立木以禁車過者，謂德干曰：“一言處分豈不得，何用此為？”德干大慚，時議以為不如懷恩也。轉益州大都督府長史，尋卒。