1908年11月生于吉林省拉林東城子溝子沿屯（現(xiàn)黑龍江省五常市拉林鎮(zhèn)）的一個(gè)地主家庭。由于祖父、為吸食鴉片，家產(chǎn)揮霍罄盡，只剩幾畝薄田。他幼年喪母，先在本屯私塾讀書，后入雙城第三中學(xué)學(xué)習(xí)。1927年入北平弘達(dá)學(xué)院補(bǔ)習(xí)。次年考入外交部俄專，該校后改北平大學(xué)商學(xué)院，伊俊山專攻俄語和經(jīng)濟(jì)學(xué)專業(yè)。

1928年10月，伊俊山東渡日本留學(xué)，考入日本東京鐵道學(xué)校。1930年歸國。1931年參加反帝大同盟，與閻寶航、高崇民、杜重遠(yuǎn)在中國共產(chǎn)黨組織號召下，參加抗日宣傳活動。

1933年，伊俊山大學(xué)畢業(yè)，返回東北，投身到民族解放戰(zhàn)爭的最前線，開始了戎馬生涯。1934年，伊俊山與老同學(xué)――中共寧安縣委書記李范五取得聯(lián)系，送即投奔抗日游擊區(qū)。同年他在寧安縣與反日同盟軍辦事處主任周保中會見。

1935年2月，東北反日聯(lián)合軍第五軍成立，伊俊山任第一師第三團(tuán)政委，參加并參與指揮了寧安襲擊叛徒鄭營戰(zhàn)斗、進(jìn)攻大甸子、雙溝突圍等大小戰(zhàn)斗十余次，沉重打擊了日偽的囂張氣焰。

1937年，在周保中指揮下，伊俊山與抗聯(lián)第三、四、五、八、九各軍760余名指戰(zhàn)員攻打伊蘭縣城，斃敵300余人，破壞了敵人的城防設(shè)施、銀行，擴(kuò)大了抗日聯(lián)軍的聲威，推動了下江地區(qū)抗日斗爭的發(fā)展。動搖了偽軍、偽警的軍心。三道河子偽森警大隊(duì)、偽軍第三十八團(tuán)、第二十九團(tuán)先后嘩變，走上抗日道路。1937年3月，伊俊山被抗聯(lián)第五軍軍部派到第二軍獨(dú)立旅任政委。四月，獨(dú)立旅由伊蘭、方正兩縣交界之三道溝出發(fā)向南滿遠(yuǎn)征，歷盡艱險(xiǎn)，經(jīng)半年的行軍，在蒙江縣與第二軍政委魏拯民所率的第二軍軍部會師。

同年11月下旬，魏拯民和伊俊山在蒙江、撫松與日偽軍冬季“討伐隊(duì)”相遇。他們晝伏夜行，抓住戰(zhàn)機(jī)，控制制高點(diǎn)，殲敵百余名，繳獲一批槍支彈藥及兩臺發(fā)報(bào)機(jī)。戰(zhàn)斗勝利結(jié)束后，魏拯民、伊俊山帶領(lǐng)部隊(duì)進(jìn)入金川縣活動。部隊(duì)到達(dá)金川后，迫使駐防渾江兩岸的敵人出洞，我軍突然進(jìn)入通化、輯安縣境，向老嶺進(jìn)發(fā)。伊俊山在老嶺，參加了抗聯(lián)第一路軍和中共南滿省委負(fù)責(zé)干部會議。會上，他報(bào)告了北滿、吉東抗日形勢及第二軍獨(dú)立旅南征的情況。

1940年，伊俊山調(diào)任第一路軍第二方面軍政治部主任。

抗戰(zhàn)勝利后，伊俊山于1946、1947年間先后擔(dān)任牡丹江軍區(qū)政治部民道科長、綏陽縣縣長、專員公署秘書室主任，牡丹江省建設(shè)廳秘書主任等職。 　1953年，伊俊山調(diào)冶金部黑色冶金設(shè)計(jì)公司任副經(jīng)理。他自抗戰(zhàn)離家，從未歸家探親。 　1958年，伊俊山抱病出席公祭楊靖宇將軍大會，并即會賦詩言志。 　1964年，正當(dāng)伊俊山為社會主義建設(shè)而勤奮工作的時(shí)候，病情不斷惡化，終因醫(yī)治無效，于1964年3月18日在北京病逝，終年56歲。