光緒二十六年（1900年），唐常才在南方舉義反清，張在西北起兵響應(yīng)，因唐軍失販而未能如愿，只身返回長安，入巡防隊當(dāng)兵，經(jīng)友人推薦入武備學(xué)堂當(dāng)號兵、號目。三十年（1904）再入陜西常備軍，次年任常備軍司號長；宣統(tǒng)元年（1909）春陜西陸軍混成協(xié)（簡稱“陜西新軍”）正式組成，張任協(xié)司司號官。張早年在陶模軍中就加入了哥老會。由于他的積極活動，宣統(tǒng)二年（1910）初開“通統(tǒng)山”堂時，即吸收了1000多名哥弟，絕大多數(shù)是新軍中的士兵。這時，陜西新軍下級軍官中的同盟會員已由4人增為29人， 其中錢鼎、張寶麟具有同盟會與哥老會雙重身份。張等哥老會頭目積極與錢鼎、張寶麟等人交往，促進了同盟會與哥老會的初步聯(lián)合。又經(jīng)過兩三個月的工作，各營隊哥老會頭目都表示愿接受孫中山的主張，并愿意“跟著黨人干”。從而促成了同盟會、哥老會雙方于宣統(tǒng)二年六月初三（1910年7月9日）在西安大雁塔“歃血為盟，共圖大舉”。辛亥年四川保路運動和武昌起義的消息傳到西安，同盟會與哥老會兩方主要負(fù)責(zé)人錢鼎、張鈁、張云山、萬炳南等聚會秘商，擬定九月初八（10月29日）舉事。

八月三十（1911年10月21日）那天，得知官府要將新軍中革命力量最強的兩個標(biāo)隊調(diào)往外縣，原定舉事日期已緩不濟急，錢鼎提出召開緊急會議，研究應(yīng)急對策。經(jīng)反復(fù)協(xié)商，改為九月初一（10月22日）提前起義。九月初一上午，張等在西安西郊林家墳秘密集會，推舉張鳳翙為首領(lǐng)，錢鼎為參贊，并決定當(dāng)天聞午炮起義。會后，張等指揮部隊進攻“滿城”西面。當(dāng)晚，起義軍定名為秦隴復(fù)漢軍，設(shè)總司令部于原軍裝局。次日黎明， 各部起義軍互相配合攻占“滿城”，至下午3時西安全城光復(fù)。九月初四（10月25日），張鳳翙召集各起義軍將領(lǐng)在軍裝局開會，協(xié)商軍政府的大統(tǒng)領(lǐng)和副統(tǒng)領(lǐng)人選問題，由于張云山與萬炳南都爭著要當(dāng)大統(tǒng)領(lǐng)，會議不歡而散。后經(jīng)多方協(xié)商，九月初六（10月27日）在咸寧縣署再次開會，正式推舉張鳳翙為大統(tǒng)領(lǐng)，錢鼎、萬炳南為副大統(tǒng)領(lǐng)，并宣告秦隴復(fù)漢軍政府成立。這一決定“引起張云山的不滿，他遂召集心腹在自己住所樹起u2018洪漢u2019旗幟，命令各碼頭大事招兵買馬”，儼然與張鳳翙領(lǐng)導(dǎo)的軍政府“形成對峙局面。嗣經(jīng)眾首領(lǐng)反復(fù)協(xié)商，軍政府于九月初八（10月29日）召開大會，宣布另設(shè)六個都督，張任兵馬都督，才使事態(tài)平息了下來。秦隴復(fù)漢軍政府成立后，清廷急調(diào)清軍從東、西兩面夾擊秦隴復(fù)漢軍。西安起義時逃亡蘭州的卸任陜甘總督升允，被清廷啟用署理陜西巡撫兼辦軍務(wù)。此時，河南清軍攻陷潼關(guān)，東路告急。大統(tǒng)領(lǐng)張鳳翙親赴東路督戰(zhàn)，張云山被調(diào)回省垣主持防務(wù)。未幾，東路潼關(guān)收復(fù)，而升允又糾集大量甘軍再犯陜西，長（長武）、彬（彬縣）、千（千陽）、隴（隴縣）各縣相繼失陷。張云山急赴乾州挑起守城重?fù)?dān)。升允率甘軍20個營，分兩路進擊陜西乾州（今乾縣），一路經(jīng)長武進攻邠州（今彬縣），一路由固關(guān)進攻鳳翔。

1911年11月21日，升允所率甘軍占領(lǐng)長武。張自請率向字營西征，在長武冉店橋?qū)⑶遘姄敉�，西路�?zhàn)事暫時緩和。12月23日，當(dāng)升允率甘軍先后攻占邠州（今彬縣）、永壽，進逼乾州（今乾縣）時，張在乾州收容西路散兵，加強城防固守，夜間在城上多設(shè)燈光，并自握軍號不時改變各種號音。 清軍不悉內(nèi)情， 不敢冒然攻城；但城北高原險要，盡為清軍所占。

1912年1月20日張鳳翙自乾州（今乾縣） 回省城后，張與馬玉貴會同各路官兵繼續(xù)保衛(wèi)乾州（今乾縣）。張親臨城樓督戰(zhàn)，晝夜加強巡邏防范，清軍雖多次使用山炮、挖地道、架云梯、派先鋒隊攻城，都未得逞。升允技窮，令管帶羅開福跪城門詐降，被張識破， 并督隊痛擊，詐降清軍被迫逃遁。2月12日清帝退位后，升允仍頑固地指揮甘軍襲擊禮泉。張派參謀雷恒焱面見升允，“告以清帝退位，應(yīng)罷兵息民”。升允殘暴地將雷處死，投入枯井，繼續(xù)令甘軍進逼咸陽。張派特使給甘軍馬安良送去清帝退位布告，要他停戰(zhàn)議和。3月8日，張與馬安良正式議和，西路戰(zhàn)事結(jié)束。張積極提倡男人剪發(fā)辮，婦女放足；贊成張鳳翙禁種鴉片，并親赴乾、邠屬區(qū)宣講禁令；他頒布告，勸諭清軍官兵、地方官吏，翻然變計，投誠軍政府；號召哥老會哥弟維持社會治安；贊助創(chuàng)立同志小學(xué)和設(shè)立普云堂藥鋪施舍醫(yī)藥；重視社會賢達，派專人持函請宋伯魯出山，委以參謀官重任。1912年3月，袁世凱就任臨時大總統(tǒng)后，以光復(fù)西安有功，授張云山陸軍中將銜，補秦軍第一鎮(zhèn)統(tǒng)制職。不久，又下令縮編秦隴復(fù)漢軍為兩個師， 張任第一師師長。同年8月，陜西同盟會與統(tǒng)一共和黨陜西支部合并成立中國國民黨秦支部，選張鳳翙為支部長，張云山等為評議員。

1914年夏秋間，袁世凱命陸建章為陜西將軍，接替張鳳翙之職。陸建章裁汰陜軍，又將張云山的第一師縮編為混成旅，給張以旅長兼陜北鎮(zhèn)守使的名義，卻又多方設(shè)置障礙，使其無法到任。此間，張延攬文人學(xué)士，搜集古董字畫，哥老會袍哥習(xí)氣漸消，學(xué)會了投機鉆營的官場妙術(shù)，認(rèn)陸建章為義父，結(jié)納陸的左右，投其所好，有求必應(yīng)。僅一年，陸等就將張從禁煙所刮得的財物掠奪一空。他憤恨咯血，一病不起，于1915年6月逝世。

作家樟葉以張云山的故事為原型，寫成反映辛亥革命陜西起義的長篇歷史小說《五�！罚�塑造了主人公劉五這一生動鮮明的人物形象。2008年西部電影集團拍攝了由《五�！犯木幍�32集電視劇《關(guān)中槍聲》，劉五由李亞鵬飾演，2009年6月18日央視8套黃金檔首播。