王遵業(yè)的太祖父王慧龍，北魏時曾任龍驤將軍，父王瓊?cè)伪蔽褐袝�令。出生于封建官僚之家的王遵業(yè)，從小受儒家傳統(tǒng)教育，成年后以儀表清秀，擅長經(jīng)史而聞名。他在朝中初任著作佐郎，與司徒左長史、史學家崔鴻同修《起居注》。北魏正光二年(521年)王遵業(yè)升為右軍將軍，兼散騎常侍。受北魏宣武帝之托，出使漠北，慰勞分布在這一帶的柔然部落。首領(lǐng)阿那瑰親自出迎王遵業(yè)，授賜送慰勞之禮。王遵業(yè)南還，又受詔至代京(今山西大同)，搜集北魏孝文帝在代京時的活動材料，以增訂《起居注》。不久，他與崔光，元延明等儀定服章，同崔光一起給魏孝明帝講解《孝經(jīng)》。每次講解均由王遵業(yè)預(yù)進。王遵業(yè)以文采譽滿京城，應(yīng)詔作《釋奠侍宴詩》。北魏孝明元年(525年)轉(zhuǎn)任司徒左長史，黃門郎，負責監(jiān)典修儀注。王遵業(yè)在朝中名望很高，與中書令袁翻，尚書王誦共同執(zhí)領(lǐng)黃門郎，被時人譽稱“三哲”。

據(jù)家譜記載：王慧龍生王寶興，王寶興生王瓊，王瓊生四個兒子：王遵業(yè)、王廣業(yè)、王延業(yè)、王季和。

北魏末年農(nóng)民起義經(jīng)常爆發(fā)，北方混亂。當時正值胡太后臨朝執(zhí)政，王遵業(yè)提出到徐州(今山東徐州)做官的愿望，以謀求避亂之處，胡太后不知他的用意，未予允準。武泰元年(528年)胡太后毒死了北魏孝明帝，圖謀篡權(quán)的軍閥爾朱榮以此為借口，從晉陽起兵直逼洛陽，將胡太后及諸王，百官2千余人集中到洛陽附近的河陰，統(tǒng)統(tǒng)殺死，史稱“河陰之變”。王遵業(yè)與弟王延業(yè)均在遇害之列，后人深為他過早遇害而感到惋惜。

王遵業(yè)是當時聞名的文史學家，“風儀清秀，涉歷經(jīng)史”。與其弟王延業(yè)以博學多才，為人們稱贊，人稱“英英濟濟，王家兄弟”。王遵業(yè)還與瑯邪(今山東膠南)王誦“并稱文學”，與有才學的李瑾、尚書盧觀等典修儀注，被稱為“三儶”。他與當時有名望的文人王愉、宋世景、李神儶等，共同著詩興賦。很多人愿投入王遵業(yè)門下學習經(jīng)史。北魏著名天文學家李業(yè)興曾經(jīng)是王遵業(yè)的學生。王遵業(yè)在朝中任黃門郎，這是掌握實權(quán)的官職，號稱小宰相。他并不以此為榮，更不以勢欺人，而把做官看得很淡薄，他“從客恬囊，若處丘園�！蓖踝駱I(yè)以其才華風度言行舉止，為時人稱贊。很多人學習他的衣著，“嘗著穿角履，好事者多毀新履以學之�！�

王遵業(yè)的著作很多，以文才著稱，可惜著作沒有留傳下來。他著《三晉記》10卷，書已亡佚，散見宋初樂史撰《太平寰宇記》中，是記載三晉風土人情，歷史地理的專著。他與史學家崔鴻補續(xù)的《起居注》，北齊史學家魏收編撰《魏書》時，曾引用其中大量材料，“下訖孝明，事甚委悉�！�