明正德九年(1514年)登進(jìn)士，任南京大理寺評事。以審案公平，微服私訪，平反冤案聞名，升左寺副。嘉靖初年(1522年)，上疏提出“恒敬心、遠(yuǎn)邪佞、容戇直、公是非、重守令、擇風(fēng)憲、謹(jǐn)刑罰、修武備、革弊俗”等九項建議，得到贊揚(yáng)與采納，升任左寺正。不久，升湖廣提刑按察使司僉事。

嘉靖七年，湖廣襄陽府和沔陽州(今湖北襄樊市和沔陽縣)旱災(zāi)嚴(yán)重，林遂前往賑災(zāi)，采用“計口授錢法”，按人口發(fā)放救濟(jì)款，不足部分以太和山香錢補(bǔ)充，救活萬余人。在任期間，先后撤銷鄖陽府(今湖北鄖縣)“部運(yùn)征賠”規(guī)例；革除郴州和永州府(今湖南郴縣和零陵縣)“老女不嫁”陋習(xí)；造大渡船防止群眾爭渡發(fā)生溺水事故；奏請增設(shè)湖北麻城縣界巡檢司，駐兵守衛(wèi)，捕辦盜匪；恢復(fù)武昌府興國州(今湖北陽新縣)永興縣建制，加強(qiáng)地區(qū)結(jié)合部治理。

后升為四川按察副使，在稽查軍餉、構(gòu)筑城池、鞏固邊防方面做出成績。川東邊境酉陽(今酉陽縣)少數(shù)民族械斗，他深入雙方，進(jìn)行調(diào)解，平息事態(tài)，當(dāng)?shù)厝耸抠浺越甬T10個重達(dá)160斤、白銀4錠，林遂堅辭不受，他們將金甌、白銀放在縣衙不辭而去。林遂將這批銀錢交給萬縣修建縣學(xué)，地方民士建“卻金亭”以紀(jì)念。后升任貴州參政。嘉靖十三年，告老回鄉(xiāng)。著作有《石壁奏議》一卷、《石壁手稿》二卷。退休后，以“義行卓著”，朝廷賜其故里名“方伯里”。