幼而聰慧，頗涉經(jīng)史。梁大同元年，封豐城縣侯，邑五百戶。除給事中，轉(zhuǎn)太子洗馬。尋入直殿省，轉(zhuǎn)太子中舍人。出為持節(jié)、仁威將軍、譙州刺史。及侯景為亂，路由城下，襲而陷之，世怡遂被執(zhí)。尋遁逃得免，至于江陵。

梁元帝承制，授侍中。及平侯景，以世怡為兼太宰、太常卿，與中衛(wèi)長(zhǎng)史樂(lè)子云拜謁山陵。承圣二年，授使持節(jié)、平西將軍、臨川內(nèi)史。既以陸納據(jù)湘川，道路擁塞，改授平南將軍、桂陽(yáng)內(nèi)史。未至郡，屬于謹(jǐn)平江陵，遂隨兄修在郢州。及修卒，即以世怡為刺史。湘州刺史王琳率舟師襲世怡，世怡以州輸琳。時(shí)陳武帝執(zhí)政，征為侍中。世怡疑而不就，乃奔于齊。除車騎大將軍、散騎常侍。尋出為永州刺史。

保定四年，晉公護(hù)東伐，大將軍權(quán)景宣略地河南。世怡聞豫州刺史王士良已降，遂來(lái)歸款。五年，拜使持節(jié)、驃騎大將軍、開(kāi)府儀同三司，封義興郡公，邑一千三百戶。天和二年，授蔡州刺史。政存簡(jiǎn)惠，不尚苛察，深為吏民所安。三年，卒于州。贈(zèng)本官、加并洛永三州刺史。子子寶嗣。

子寶美風(fēng)儀，善談笑，年未弱冠，名重一時(shí)。隋文帝輔政，引為丞相府典簽，深被識(shí)遇。開(kāi)皇中，官至吏部侍郎。后坐事被誅。