初以父蔭補太廟齋郎，累遷大理寺丞。北宋寶元元年(1038)進士及第，以殿中丞為御史臺推官，通判明州(今寧波)，遷太常博士。慶歷中舉賢良方正能直言極諫科，擢為尚書禮部員外郎，知潤州。上疏極言時政有中原天災(zāi)頻仍、西北契丹雄踞虎視、西南蠻獠起事“三方之急”，以期長治久安之計。潤州旱災(zāi)蝗災(zāi)，民缺糧乏食，彥遠不顧反對，發(fā)放常平倉賑濟災(zāi)民。召為右司諫，上書陳嚴赦免、擇良吏、增俸以養(yǎng)廉、息土木以省費等事，遷起居舍人，入直集賢院，知諫院。時值諸路大水，彥遠又上疏陳述興水利、墾荒田、勸農(nóng)桑諸策，認為“農(nóng)為國家急務(wù)”。