咸豐五年，典試 云南，復留督學政，士益親之。起義益棘，圍會城，城中兵閧，掠官署民居，獨未入學政廨，民間婦孺匿考院避難者千人。存義在云南久，習知民情，比復命奏對，陳變亂始末甚詳。累遷侍讀學士，署 順天府丞。十年， 英法聯(lián)軍入京師，上幸熱河，京朝官多挈家出走，存義屬疾，語家人毋隨人妄動。事定，敘城守勞，將入存義名，存義聞之，力疾起，署牘曰：“府丞吳存義抱病家居，干掫詰奸皆無與。今病未愈，不敢冒受賞。”未幾，擢太仆寺卿，遷通政使，署禮部侍郎。存義以文廟從祀位次多舛，奏請審定，繪圖頒行。又以諸儒增祀既繁，漸失世用其書、垂諸國胄之義，奏飭中外臣工不得濫請。署刑部侍郎。

同治二年，署工部侍郎，迭署禮、戶二部。出督浙江學政，軍事甫定，人士離散初歸，存義寬大拊循，歲考既周，秀良者始奮於學，乃導以經、史、小學，文風復興。三年，調吏部，留學政任。六年，任滿，以病乞歸。七年，卒。