最初在在陳圭璋部屬帶兵。任陳珪璋所部第五旅旅長(zhǎng)，1932年孫蔚如與楊子恒密謀除掉陳硅璋后，率第五旅往隴西投奔新編十四師師長(zhǎng)魯大昌，被魯大昌收編井委任為一該師第二旅旅長(zhǎng)。 抗戰(zhàn)開始時(shí)任165師副師長(zhǎng)，陸軍中將。1940年王、蔣率所部開赴晉南，防守張（店）茅（津渡）大道，保證通往河南的交通、隔河掩護(hù)隴海鐵路暢通；9月9日，開赴中條山西段平陸縣接替38軍防務(wù)；1941年5月，參加了歷時(shí)7天的中條山戰(zhàn)役，該師官兵奮勇殺敵，隴上健兒傷亡2000余人。1942年6月王治歧任80軍中將副軍長(zhǎng)，1949年任119軍軍長(zhǎng)等職。1948年蔣云臺(tái)任119軍中將副軍長(zhǎng)兼244師師長(zhǎng)，次年12月，王、蔣率部在武都起義。

建國后，蔣云臺(tái)歷任中國人民解放軍西北軍區(qū)獨(dú)立第3軍軍長(zhǎng)、蘭州軍區(qū)參議室副主任，甘肅省人民政府委員兼省體委主任、省參事室副主任，甘肅省第五屆政協(xié)副主席，民革中央委員、甘肅省委副主任委員、 甘肅省政協(xié)副主席等職。

1949年的夏天，陜西扶眉戰(zhàn)役之后，人民解放軍第一野戰(zhàn)軍進(jìn)軍甘肅，國民黨甘肅省政府倉皇南逃。

“出路在何方？”這個(gè)問題，在此前早與進(jìn)步人士有接觸的119軍副軍長(zhǎng)蔣云臺(tái)的心中留存已久。119軍駐防武都后，蔣云臺(tái)執(zhí)意不肯接受安排進(jìn)駐武都城，而是將部隊(duì)駐扎在了武都城的要塞入口——安化。駐扎期間，中共甘南工委軍事委員龍一飛多次親自勸說、策動(dòng)蔣云臺(tái)。蔣云臺(tái)在回憶錄中提到，與此同時(shí)，他也多次派代表，化裝越過警戒線前往蘭州，與人民解放軍第一野戰(zhàn)軍司令部聯(lián)系。

1949年11月底，胡宗南特派員趙龍文企圖拉攏勢(shì)力的陰謀被蔣云臺(tái)等人挫敗，見大勢(shì)已去，趙龍文急急忙忙帶338師、12師、軍校學(xué)生及分署人員向四川逃竄。

1949年12月9日，119軍起義。當(dāng)天下午4時(shí)，逮捕城區(qū)匪特人員；晚8時(shí)，我62軍先遣隊(duì)在119軍732團(tuán)的掩護(hù)下，從西城門進(jìn)入武都西關(guān)一帶接防。10日凌晨，武都四城門大開，各族各界人士和居民群眾，夾道歡迎解放軍進(jìn)城。

是日，王治岐、蔣云臺(tái)等聯(lián)名通電武都地區(qū)所轄文縣、康縣、成縣、徽縣、兩當(dāng)?shù)雀骺h分別就地起義。至此，甘肅全境宣告解放。武都起義，使得四川乃至西南門戶洞開，人民解放軍由西北南下的咽喉要道順利打通。