1915年出生于貧農(nóng)家庭。年幼時給親戚家放牛，1931年淮河特大水災，焦玉山離家逃荒到固始，遇到紅軍，堅決要求參軍，連長看他個子矮，年齡小，不肯收，政委詹才芳把他留在連部當了勤務(wù)兵。

　　1932年，焦玉山在戰(zhàn)斗中負傷。

　　1933年，他任紅30軍88師265團團部警通排1班班長。1934年在戰(zhàn)斗中腰部受傷。他經(jīng)李先念介紹加入中國共產(chǎn)黨。

　1935年他在李先念指揮下，強渡嘉陵江。他在劍門關(guān)口戰(zhàn)斗中負傷，師首長派兩個戰(zhàn)士攙著他過了雪山。第二次過雪山時，他和戰(zhàn)士們在篝火旁睡著了，被大雪蓋住，只有焦玉山和勤務(wù)班長爬了出來。焦玉山先后擔任紅30軍88師263團排長、89師267團連指導員、紅四方面軍總政治部學兵連連長、紅四方面軍總部便衣隊隊長、警衛(wèi)營副營長、騎兵連連長。西征時，焦玉山左手被子彈打穿。西路軍失敗，他被地方民團抓住，在監(jiān)獄里關(guān)了10多天，后在押往青海途中逃脫，被援西軍救回�？谷諔�(zhàn)爭時期，任129師385旅團警衛(wèi)連連長，在關(guān)家□戰(zhàn)斗中頭部負傷。他擔任了獨立支隊營長、師教導大隊副隊長。1942年進抗大學習，任隊長兼教育主任。解放戰(zhàn)爭時期，任東北野戰(zhàn)軍4縱12師34團團長。新開嶺戰(zhàn)斗，34團配合兄弟部隊攻打賽馬，兄弟部隊進展不快，師長命令34團出擊，焦玉山指揮34團從敵側(cè)翼發(fā)起猛烈攻擊，打下了賽馬。新開嶺圍殲戰(zhàn)開始后，34團叁次強攻，拿下敵25師固守的陣地。焦玉山指揮34團解放了本溪，在遼陽總攻時，部隊5分鐘就登上城墻。攻打鞍山時，34團占領(lǐng)神社山和市政府大樓。在塔山阻擊戰(zhàn)中，34團開始的陣地在塔山堡和鐵路橋頭，塔山阻擊戰(zhàn)的第二天，守衛(wèi)在村口最前沿的34團遭到敵人一個梯隊接著一個梯隊的猛烈進攻，一片混戰(zhàn)，34團傷亡慘重，連團預備隊也用上了，一直打到刺刀見紅。第叁天縱隊調(diào)整了部署，34團集中守備塔山堡，敵人進攻的更猛烈，敵敢死隊每人胸前掛一排手榴彈，沖鋒時高喊“攻下塔山有賞，官長叁級！”焦玉山指揮34團打得十分艱苦，34團出現(xiàn)了“向我開火”的英雄人物。戰(zhàn)后12師34團獲得“塔山英雄團”稱號。焦玉山成為全軍聞名的“塔山英雄團”團長。

　　1949年，4縱改稱41軍時，焦玉山任41軍123師團長。

     焦玉山先后擔任過廣東省公安廳副處長、處長、省公安總隊副政委、守備10師師長、佛山軍分區(qū)司令員，1962年畢業(yè)于高等軍事學院基本系，任47軍副軍長、廣西軍區(qū)副司令員、廣州軍區(qū)副參謀長。焦玉山參與指揮了1974年西沙永樂群島反擊作戰(zhàn)和1979年對越自衛(wèi)反擊戰(zhàn)。

　　1964年晉為少將。獲二級八一勛章、叁級獨立自由勛章、二級解放勛章、一級紅星功勛榮譽章。

　　1990年去世，骨灰安葬在塔山。