1915年出生于貧農(nóng)家庭。年幼時(shí)給親戚家放牛，1931年淮河特大水災(zāi)，焦玉山離家逃荒到固始，遇到紅軍，堅(jiān)決要求參軍，連長(zhǎng)看他個(gè)子矮，年齡小，不肯收，政委詹才芳把他留在連部當(dāng)了勤務(wù)兵。

　　1932年，焦玉山在戰(zhàn)斗中負(fù)傷。

　　1933年，他任紅30軍88師265團(tuán)團(tuán)部警通排1班班長(zhǎng)。1934年在戰(zhàn)斗中腰部受傷。他經(jīng)李先念介紹加入中國(guó)共產(chǎn)黨。

　1935年他在李先念指揮下，強(qiáng)渡嘉陵江。他在劍門(mén)關(guān)口戰(zhàn)斗中負(fù)傷，師首長(zhǎng)派兩個(gè)戰(zhàn)士攙著他過(guò)了雪山。第二次過(guò)雪山時(shí)，他和戰(zhàn)士們?cè)隗艋鹋运�著了，被大雪蓋住，只有焦玉山和勤務(wù)班長(zhǎng)爬了出來(lái)。焦玉山先后擔(dān)任紅30軍88師263團(tuán)排長(zhǎng)、89師267團(tuán)連指導(dǎo)員、紅四方面軍總政治部學(xué)兵連連長(zhǎng)、紅四方面軍總部便衣隊(duì)隊(duì)長(zhǎng)、警衛(wèi)營(yíng)副營(yíng)長(zhǎng)、騎兵連連長(zhǎng)。西征時(shí)，焦玉山左手被子彈打穿。西路軍失敗，他被地方民團(tuán)抓住，在監(jiān)獄里關(guān)了10多天，后在押往青海途中逃脫，被援西軍救回�？谷諔�(zhàn)爭(zhēng)時(shí)期，任129師385旅團(tuán)警衛(wèi)連連長(zhǎng)，在關(guān)家□戰(zhàn)斗中頭部負(fù)傷。他擔(dān)任了獨(dú)立支隊(duì)營(yíng)長(zhǎng)、師教導(dǎo)大隊(duì)副隊(duì)長(zhǎng)。1942年進(jìn)抗大學(xué)習(xí)，任隊(duì)長(zhǎng)兼教育主任。解放戰(zhàn)爭(zhēng)時(shí)期，任東北野戰(zhàn)軍4縱12師34團(tuán)團(tuán)長(zhǎng)。新開(kāi)嶺戰(zhàn)斗，34團(tuán)配合兄弟部隊(duì)攻打賽馬，兄弟部隊(duì)進(jìn)展不快，師長(zhǎng)命令34團(tuán)出擊，焦玉山指揮34團(tuán)從敵側(cè)翼發(fā)起猛烈攻擊，打下了賽馬。新開(kāi)嶺圍殲戰(zhàn)開(kāi)始后，34團(tuán)叁次強(qiáng)攻，拿下敵25師固守的陣地。焦玉山指揮34團(tuán)解放了本溪，在遼陽(yáng)總攻時(shí)，部隊(duì)5分鐘就登上城墻。攻打鞍山時(shí)，34團(tuán)占領(lǐng)神社山和市政府大樓。在塔山阻擊戰(zhàn)中，34團(tuán)開(kāi)始的陣地在塔山堡和鐵路橋頭，塔山阻擊戰(zhàn)的第二天，守衛(wèi)在村口最前沿的34團(tuán)遭到敵人一個(gè)梯隊(duì)接著一個(gè)梯隊(duì)的猛烈進(jìn)攻，一片混戰(zhàn)，34團(tuán)傷亡慘重，連團(tuán)預(yù)備隊(duì)也用上了，一直打到刺刀見(jiàn)紅。第叁天縱隊(duì)調(diào)整了部署，34團(tuán)集中守備塔山堡，敵人進(jìn)攻的更猛烈，敵敢死隊(duì)每人胸前掛一排手榴彈，沖鋒時(shí)高喊“攻下塔山有賞，官長(zhǎng)叁級(jí)！”焦玉山指揮34團(tuán)打得十分艱苦，34團(tuán)出現(xiàn)了“向我開(kāi)火”的英雄人物。戰(zhàn)后12師34團(tuán)獲得“塔山英雄團(tuán)”稱號(hào)。焦玉山成為全軍聞名的“塔山英雄團(tuán)”團(tuán)長(zhǎng)。

　　1949年，4縱改稱41軍時(shí)，焦玉山任41軍123師團(tuán)長(zhǎng)。

     焦玉山先后擔(dān)任過(guò)廣東省公安廳副處長(zhǎng)、處長(zhǎng)、省公安總隊(duì)副政委、守備10師師長(zhǎng)、佛山軍分區(qū)司令員，1962年畢業(yè)于高等軍事學(xué)院基本系，任47軍副軍長(zhǎng)、廣西軍區(qū)副司令員、廣州軍區(qū)副參謀長(zhǎng)。焦玉山參與指揮了1974年西沙永樂(lè)群島反擊作戰(zhàn)和1979年對(duì)越自衛(wèi)反擊戰(zhàn)。

　　1964年晉為少將。獲二級(jí)八一勛章、叁級(jí)獨(dú)立自由勛章、二級(jí)解放勛章、一級(jí)紅星功勛榮譽(yù)章。

　　1990年去世，骨灰安葬在塔山。