中國東北長白縣十九道溝地陽溪出生。1937年參加東北抗日聯軍第六師少年連，六師七團通訊員。在野營教導旅時期，作為偵察員隨吳白龍小分隊在蘇中國境和圖們江一帶游擊作戰(zhàn)，進行團結反日抗戰(zhàn)力量的政治工作和對日軍軍事要沖的偵察活動。1945年回國。

1948年任朝鮮人民軍10師25團上校團長。

1950年參加朝鮮戰(zhàn)爭南下作戰(zhàn)，表現出色。后調任民族保衛(wèi)省作戰(zhàn)參謀。

1955年任人民軍第三十七師少將師長。

1962年晉升中將，

1964年4月任人民軍總參謀部作戰(zhàn)局局長。

1965年1月任第二軍團長。

1967年11月當選為第4期議員。

1968年9月任副總參謀長，晉升上將，獲共和國英雄稱號。

1970年7月任人民軍第一副總參謀長。

1970年11月朝鮮勞動黨五大當選中央委員。

1972年7月當選為第5期議員。

1977年5月當選為中央政治委員會候補委員，并任第八軍團軍團長；同年12月，當選第6期議員。

1979年任第二經濟委員會委員長、國防委員會副委員長。

1980年10月起任中央政治局候補委員、中央軍事委員會委員。

1981年9月，解除政治局候補委員。

1986年11月，當選第8期議員。

1989年任軍需動員總局局長，晉升大將軍銜。

1990年4月，當選第9期議員；同年5月，當選朝鮮國防委員會委員、政治局候補委員。

1998年9月5日，再次當選國防委員會委員。

金鐵萬是“無私奮斗的抗日革命戰(zhàn)士和堅貞的老革命家”，為朝鮮“革命武力強化和國防工業(yè)發(fā)展作出了卓越貢獻”，他的一生是“真正革命家的一生”。

朝中社評價說，“在日本帝國主義統治的黑暗時期，他參加金日成同志組織和領導的光榮的抗日武裝斗爭，為完成祖國解放的神圣事業(yè)獻出了自己的一切。”

2018年12月3日，朝鮮勞動黨中央委員會、朝鮮勞動黨中央軍事委員會、朝鮮民主主義人民共和國國務委員會、朝鮮民主主義人民共和國最高人民會議常任委員會聯名發(fā)布訃告說，金鐵萬因膀胱癌醫(yī)治無效于2018年12月3日3時20分逝世，享年98歲。

朝鮮決定組成國家治喪委員會，為金鐵萬舉行國葬。治喪委員會由朝鮮最高領導人金正恩擔任委員長，崔龍海、樸奉珠等70名黨政軍高官參加。

治喪委員會宣布，金鐵萬遺體安放在平壤市普通江區(qū)西將會館，2018年12月5日8時出殯。