以父蔭起家任霸州兵馬監(jiān)押等職。東頭供奉官，娶忠武軍節(jié)度使、同中書門下平章事秦正懿王王審琦的孫女。

天圣丁卯（1030年）去世43歲，煕寧己酉（1070年）與夫人合葬河南府洛陽縣北邙山杜澤之原。

有6子3女，長子潘夙司封郎中知桂州，次子潘震任左侍禁，余4子早逝。