有沙門惠恩、崛多等，頗解占候，綸每與交通，常令此三人為度星法。有人告綸怨望咒詛，帝命黃門侍郎王弘窮治之。弘見帝方怒，遂希旨奏綸厭蠱惡逆，坐當(dāng)死。帝令公卿議其事，司徒楊素等曰：“綸希冀國災(zāi)，以為身幸。原其懷惡之由，積自家世。惟皇運之始，四海同心，在于孔懷，彌須協(xié)力。其先乃離阻大謀，棄同即異，父悖于前，子逆于后，非直覬覦朝廷，便是圖危社稷。為惡有狀，其罪莫大，刑茲無赦，抑有舊章，請依前律。”帝以公族不忍，除名為民，徙始安。

諸弟散徙邊郡。大業(yè)七年，親征遼東，綸欲上表，請從軍自效，為郡司所遏。未幾，復(fù)徙朱崖。及天下大亂，為賊林仕弘所逼，攜妻子竄于儋耳。后歸大唐，為懷化縣公。