咸豐五年，典試 云南，復(fù)留督學(xué)政，士益親之。起義益棘，圍會城，城中兵閧，掠官署民居，獨(dú)未入學(xué)政廨，民間婦孺匿考院避難者千人。存義在云南久，習(xí)知民情，比復(fù)命奏對，陳變亂始末甚詳。累遷侍讀學(xué)士，署 順天府丞。十年， 英法聯(lián)軍入京師，上幸熱河，京朝官多挈家出走，存義屬疾，語家人毋隨人妄動。事定，敘城守勞，將入存義名，存義聞之，力疾起，署牘曰：“府丞吳存義抱病家居，干掫詰奸皆無與。今病未愈，不敢冒受賞。”未幾，擢太仆寺卿，遷通政使，署禮部侍郎。存義以文廟從祀位次多舛，奏請審定，繪圖頒行。又以諸儒增祀既繁，漸失世用其書、垂諸國胄之義，奏飭中外臣工不得濫請。署刑部侍郎。

同治二年，署工部侍郎，迭署禮、戶二部。出督浙江學(xué)政，軍事甫定，人士離散初歸，存義寬大拊循，歲考既周，秀良者始奮於學(xué)，乃導(dǎo)以經(jīng)、史、小學(xué)，文風(fēng)復(fù)興。三年，調(diào)吏部，留學(xué)政任。六年，任滿，以病乞歸。七年，卒。