道光二年生于一個士宦家庭。其父王兆琛，嘉慶二十二年進(jìn)士，授編修，官至山西巡撫，有政績。道光二十九年為御史楊如奏參，褫職戍新疆，籍沒家產(chǎn)，咸豐二年卒。祖源一直隨父任，至道光二十一年歸里應(yīng)試，道光二十九年拔貢，任兵部主事。由于其父被參，家產(chǎn)籍沒，又加所任為閑官，所以在京十余年間，生活一直非常貧困，清苦甚于寒素，但他持躬儉約，樂道安貧。在京都侯選知府時，其子王懿榮時為戶部額外主事，”京秩清苦，父子嘗易衣而出，然性耽金石古玩，日流連于廠肆中，量力購置，雖簞瓢屢空弗恤也”。同治十一年改官知府，選授四川龍安知府，龍安是四川府道中第一瘠缺，祖源歷任八年，安之若素。光緒五年調(diào)任成都知府，不久又升授龍綿成茂道兵備道，官至四川按察司使，光緒十二年以覲見卒于京師。