自幼敦厚老實(shí)，讀書通大義，崇尚名節(jié)義烈，成年后放棄科舉，改理家務(wù)，研究農(nóng)商實(shí)業(yè)，逐漸富裕起來(lái)。致富后濟(jì)世利民，樂善好施，凡屬公益事業(yè)，盡管花費(fèi)巨資也在所不惜，受到鄉(xiāng)民稱贊。

清光緒八年（1882年）以來(lái)，地方屢遭饑饉，每逢災(zāi)年，他都創(chuàng)設(shè)賑局，捐獻(xiàn)錢糧賑濟(jì)災(zāi)民。春天則施錢散種，救濟(jì)窮苦百姓，十幾年從未間斷。

光緒三十三年（1907年），侄婿溫朝鐘在重慶加入同盟會(huì)，帶回《革命軍》、《民報(bào)》、《同盟會(huì)宣言》等革命書籍，在鄉(xiāng)里倡導(dǎo)“風(fēng)俗改良會(huì)”。黃玉山首先贊成，并將溫朝鐘請(qǐng)至家中，縱談時(shí)事，得知革命黨要發(fā)動(dòng)起義，推翻清朝腐朽統(tǒng)治，當(dāng)即表示要傾家相助，以求革命成功。于是，經(jīng)溫朝鐘介紹加入同盟會(huì)。不久，溫朝鐘、黃玉山等邀集黔江、咸豐同盟會(huì)員，發(fā)起組織革命武裝團(tuán)體——鐵血英雄會(huì)，提出“義聯(lián)英俊，協(xié)和萬(wàn)幫，推翻清廷，打倒列強(qiáng)，復(fù)興中華，實(shí)行共和”的政治主張。黃玉山捐資，秘密購(gòu)置軍火器械。又資助旅費(fèi)，派侄兒黃盛湘、外甥王治安到四川、湖南演說，聯(lián)絡(luò)同志，發(fā)展會(huì)友。附近志士譚作霖、王克明、王云笠、及黃玉山族人黃海山、黃敦五、黃凌云等，都踴躍輸財(cái)出力，聲勢(shì)越來(lái)越大。短短幾個(gè)月時(shí)間，會(huì)友發(fā)展到七八萬(wàn)人，而黃玉山家也成了鐵血英雄會(huì)錢糧軍械供給庫(kù)。

清宣統(tǒng)二年（1910年），革命風(fēng)潮日益劇烈，湖北總督令長(zhǎng)江上游各府道通緝革命黨人。黃玉山與溫朝鐘等商議，認(rèn)為起義的時(shí)機(jī)已成熟，若各地統(tǒng)一行動(dòng)，完全可以收“北美十三州同時(shí)獨(dú)立”之功效。當(dāng)時(shí)，黔江縣令王熾昌正假借推行新政，攤派苛捐雜稅，搜刮民脂民膏，中飽私囊，民怨沸騰。

黃玉山遂偕同溫朝鐘、王克明等上彭水縣鳳池山開會(huì)，商討武裝起義，不料被溫朝鐘的仇人溫百川向黔、咸兩縣官府告密。咸豐縣令徐培同情革命，將溫百川關(guān)進(jìn)監(jiān)獄；黔江縣令王熾昌則召集團(tuán)防鄉(xiāng)勇商議防剿事宜。鐵血英雄會(huì)不得已于宣統(tǒng)末年（1911年）1月3日（庚戌臘月初三）倉(cāng)促起義，臨時(shí)召集二百余人組成革命軍。溫朝鐘任司令總長(zhǎng)，王克明任次長(zhǎng)，黃玉山任后勤總長(zhǎng)。

1月5日（庚戌臘月初五），革命軍發(fā)展到一千余人，溫朝鐘、王克明、黃玉山等率隊(duì)過蛇盤溪，越大埡口，7日破黔江縣城。縣令王熾昌潛逃，武舉孫常禮被斬首；革命軍入城后，因兵力孤單，折回大壩、后壩一帶，號(hào)召群眾，以圖進(jìn)取，這時(shí)，革命軍發(fā)展到八千余人，軍需、火器全由黃玉山一家供給。1月12日（庚戌臘月十二），革命軍再取黔江縣城，在城郊與酉陽(yáng)大隊(duì)官軍遭遇，激戰(zhàn)至二三更時(shí)分，革命軍受挫。溫朝鐘率數(shù)十人退走破水坪。湖北、湖南、四川、貴州四省官軍接踵而至，殘酷圍剿，溫朝鐘、施云山等數(shù)十人壯烈犧牲。1月20日（庚戌臘月二十），王克明被害。

黃玉山因年老操勞成疾，二次攻黔江未率隊(duì)親征。革命軍失敗后，他被老百姓競(jìng)相保護(hù)隱藏起來(lái)，當(dāng)他聽到發(fā)動(dòng)武裝起義的一些主要成員都已殉義，而四川、湖北兩省官軍正為爭(zhēng)功大肆殘殺起義人員，擔(dān)心老百姓受牽連，便挺身而出，見官軍警長(zhǎng)陳錫光，要求解赴黔江，以頭贖民苦難�？h令王熾昌、酉陽(yáng)州牧楊兆龍親自審問，黃玉山把一切責(zé)任都擔(dān)在肩上。

1911年4月29日（清宣統(tǒng)三年辛亥四月初一），王熾昌被革職，楊兆龍鑒于殺人過多，民情激憤，新任護(hù)州總督有所訓(xùn)誡，有意開脫他，令新任黔江縣令文拯復(fù)審，黃玉山始終執(zhí)一詞。

1911年5月2日（辛亥四月初四），黃玉山在黔江縣城西關(guān)外與楊松柏同時(shí)遇害，時(shí)年62歲，臨刑時(shí)神色自若，大聲說：我為革命而死，必能留名千古，只可惜未能親眼看到革命成功！”往觀的群眾都感動(dòng)得流了淚，痛罵文拯殘暴狠毒。