劉元霖，其先古北口外小興州人，五世祖劉興于明永樂中遷任丘陳王莊。

元霖幼年瑞敏，稍長有偉度，善文詞。萬歷七年(公元1579年)、八年(公元1580年)兩科進士，初授安陽令。當(dāng)?shù)孛袼滓靶U好斗，不易治理。元霖到任后，施政簡易平恕，乃大治。期滿晉升為吏部銓選曹官。上任后，他虛心納言，不恥下問，“澄綱清紀”，明斷是非，潔身自持。所選用的官員，多為當(dāng)時在德才方面深負名望者，“紳士翕然歸之”。在任八年后升清卿，督“四夷館”。不久，晉升為都察院右僉都御史，受命巡撫浙江。浙江嚴重的災(zāi)害是海汛，而兵餉及課賦，織造之役更甚。劉元霖尚未到任，歷年積累的難題和奸狡蛀蟲早在那里“凜凜待命”了。他到任后，“持大體不責(zé)纖細”，抓住肅吏治振頹風(fēng)為要政，使吏民有所感動而發(fā)奮。初見成效又出現(xiàn)兵餉供應(yīng)不足的問題，劉元霖感嘆道：“民如空虛之鍋，兵若挑吃揀喝的驕貴之子。怎么能以空鍋養(yǎng)驕子呢!”于是淘汰冗兵，核實名額，取消虛報冒領(lǐng)之弊，使兵餉減額十萬五千多兩，減輕了百姓的負擔(dān)，軍餉也不再虧空，又在沿海一帶加強軍務(wù)，以防東倭侵擾。他說：“不備不虞不可以為帥，戰(zhàn)備不加強我不能一日安寢食也。”兵部發(fā)來部隊將帥調(diào)防的公文，以天津?qū)⒄{(diào)浙江，以浙將調(diào)薊。劉元霖認為：“將不習(xí)兵，功于何有?”于是上請兵部，指出兩次追趕倭寇轉(zhuǎn)徙逃亡，都是浙將統(tǒng)兵以赴。接著他又提出“倭變修兵務(wù)六事”，并繪制沿海城垣木寨官兵閉守圖，提交兵部參考，兵部接受了他的建議。

他任浙江巡撫八年，“上籌國計，下恤民生”，節(jié)省費用百余萬兩。父亡，元霖“持服歸哀毀骨”，以未得見父面含恨不已，立志侍奉老母，不想進京赴職，在母兄竭力勸說催促之下才進京上任。

任職后即掌管部務(wù)，不久，晉升工部尚書。在任時，他裁汰奸黨“益額靡料”的不良風(fēng)氣，嚴格按規(guī)章制度辦事。萬歷二十八年(公元1600年)，萬歷皇帝第三子朱常洵晉封福王，在洛陽大修官邸，派人到川、湖、貴等省采購木料，大事鋪張。經(jīng)劉元霖固執(zhí)奏請，皇帝出面阻攔才作罷。

劉元霖為官清正，從政節(jié)儉，居官三十年，萬歷四十三年(公元1616年)因病卒于官，年59歲。朝廷贈太子太保，賜祭葬。