。七歲讀私塾，聰穎過人，年十二三就能操筆為文，滔滔不絕，號為神童，歲試名列前芧，咸豐元年（1851）三十四歲中廣東省舉人，題第五十五名。不久，應(yīng)禮部試，循例捐戶部主事、福建司行人等職務(wù)�！∨舜嬗诰�師余暇，研究經(jīng)史，工詩詞、文辭，書法尤妙，能懸肘作蠅頭細(xì)楷。凡漢魏六朝碑板，以及唐宋元明諸名家書法碑帖，收藏豐富，朝夕臨摹，至廢寢忘餐。幫所作文字，名士不惜重金爭購，日本人也十分推崇潘存書法。

潘存居京師30年，因秉性耿直，從未依附權(quán)貴。公卿知其賢，都中人士同他交誼尤摯，凡有建言，必與討論。光緒八年（1882），潘存66歲告別京師，返回原籍。

光緒十年（1884）時值法帝國主義滋事，擾廣西、福建、基隆等地。瓊州西北與越南近鄰，東北與閩海相接，孤懸海外，為戰(zhàn)略要地，是兩廣屏障。當(dāng)時的廣東總督張樹聲知潘存才德，推薦他為雷（州）瓊（州）兩郡團(tuán)練。張樹聲離任，經(jīng)營守衛(wèi)，地方得以安寧。清廷論功賜以四品官銜。其時，潘存還向朝廷提議“瓊州改建行省”，親自撰擬建省理由與方案，呈報兩廣總督張之洞。張之洞對此建議十分重視，但因當(dāng)時國事紛亂，不久張之洞調(diào)離未予處理。查閱歷史記載，潘存是至今所知道的歷史上第一個提出海南建省的人。潘存公務(wù)之余，精研經(jīng)史百家，著有論學(xué)26篇，中華詩詞43首；研究了六書之淵源，訂正了許多前人不準(zhǔn)確的論述，著有《楷法溯源》一書，遠(yuǎn)銷東洋。

現(xiàn)存的遺著有《克已集》、《論學(xué)十則》、《楷法溯源》以及《賞花有感》等，由僑居新加坡的裔孫潘賓臣印行傳世。潘存離開官場之后，就一心一意地致力于興學(xué)育才的教育實踐活動，致力于“教育興國”、“教育興瓊”。他先后在廣東惠州豐湖書院和瓊州府城蘇泉書院、文昌蔚文書院掌教講學(xué)。在教學(xué)中“崇實學(xué)，黜浮偽”，為惠州和家鄉(xiāng)培養(yǎng)了大批人才。他為了表達(dá)他對丘濬的崇敬，擬發(fā)起復(fù)建奇甸書院，但因幫未果。便于光緒十六年（1890）與雷瓊道朱采一起籌款創(chuàng)建“溪北書院”，購置圖書，教化后代，對海南教育事業(yè)作出杰出貢獻(xiàn)。光緒十九年（1893），潘存不幸病逝，終年76歲。

此后，新會的兩廣總督張人駿以潘存品行高峻，學(xué)識深遠(yuǎn)，奏請朝廷，將潘存生平事跡，學(xué)問德行，宣付清國史館。宣統(tǒng)三年（1911年）國史館總篡賴際煕、協(xié)修商衍鎏撰寫潘存?zhèn)髀�，以風(fēng)于世。潘存撰寫的楹聯(lián)很多很好，其中撰佳于“五公祠”的楹聯(lián)，長期為中外游客所稱道。聯(lián)曰：唐嗟末造，宋誤偏安，天下幾人才，置之海外。道繼前賢，教開后學(xué)，乾坤有正氣，在此樓中。