曾祖：尉遲本真，后魏中郎將、冠軍將軍、漁陽郡開國公，贈六州諸軍事、幽州刺史，謚號曰懋

祖：尉遲孟都，齊左兵郎中、金紫光祿大夫、周濟州刺史。

父：尉遲伽，隋儀同，皇朝贈汾州刺史、幽州都督、幽、檀、媯、易、平、燕等六州諸軍事、幽州刺史、 ? 常寧安公。中年早逝。

兄：尉遲恭，（585年－658年12月26日）鄂國忠武公。

侄：尉遲寶琳，襲爵鄂國公。官銀青光祿大夫、上柱國、衛(wèi)尉少卿。

尉遲寶琪。

尉遲環(huán)，邛州刺史。