17歲入寧羌振文書院讀書，因抨擊清廷政治腐敗，被書院除名，遂赴省城考入西安書院，參加于右任倡建的秘密會社——反清滅洋救國會。光緒三十二年（1906），胡遽然等一行七人，被清廷派往日本留學(xué)，進(jìn)東京國文書院，結(jié)識先期到達(dá)的留日學(xué)生張繼、鄒容和在日本士官學(xué)校學(xué)習(xí)的閻錫山。經(jīng)張繼介紹，胡遽然參加中國青年礪志社等進(jìn)步組織。光緒三十三年（1907）夏，轉(zhuǎn)入日本早稻田大學(xué)，攻讀財(cái)經(jīng)、法政，獲學(xué)士學(xué)位。畢業(yè)后一度留校圖書館，一邊工作，一邊著述。

宣統(tǒng)三年（1911），胡遽然回國，在上海于右任創(chuàng)辦的《民主報(bào)》社任職，經(jīng)于右任介紹加入同盟會。

民國元年（1912），胡遽然回家完婚，與漢中同盟會員高云生和寧羌同盟會主持人潘海峰結(jié)識。當(dāng)時(shí)潘海峰在寧羌高等小學(xué)堂任職，于是聘胡遽然到該校執(zhí)教。這年，他的第一部著作《中國財(cái)政概論》由東京出版社出版。

民國8年（1919），川軍駐境，紅燈教活動熾烈，地方很不寧靜。胡遽然離鄉(xiāng)去上海啟智書局任編輯。由于右任題寫書名，啟智書局出版了他的《社會主義之研究》、《帝國主義之研究》。

民國10年（1921），應(yīng)山西都督閻錫山之邀，胡遽然赴山西政治學(xué)院任教。執(zhí)教期間，著《中國問題根本商榷書》，組織馬列研究小組。閻錫山知道后，立捕遽然及學(xué)生十余人，經(jīng)嚴(yán)厲審訊后，判處胡遽然和4名學(xué)生死刑，后經(jīng)國民黨監(jiān)察院長于右任和國民黨中央常委張繼等多方營救，坐牢3年后方得出獄。閻錫山令他一月內(nèi)離開山西。在三年鐵窗生活中，他置生死于度外，完成《對英之辦法及決心》、《國民會議組織綱要論》和《交通政策》等三部著作，探索救國建國之策略。

民國20年（1931），國民黨政府任命胡遽然為中央審計(jì)部協(xié)審，合家遷往南京。次年升任審計(jì)兼代第一廳長。時(shí)白色恐怖籠罩陜南，許多革命群眾和進(jìn)步人士走避外鄉(xiāng)，凡流旅南京，有求于他者，均給以方便，代謀生計(jì)。

民國26年（1937），抗戰(zhàn)爆發(fā)，胡遽然隨國民政府西遷重慶，被任命為四川、西康兩省審計(jì)處處長。他雖身居要職，卻廉潔清正。成都解放前夕，同僚勸他去香港或臺灣，他婉言謝絕。在動蕩混亂中，他責(zé)令下屬管好審計(jì)處的財(cái)產(chǎn)、檔案和槍枝，成都一解放，便具實(shí)移交給人民政府，受到西南軍政委員會的嘉獎。

成都解放后，胡遽然任賢明學(xué)院教授。1954年，賢明學(xué)院遷回山西，遽然調(diào)四川文史館工作，1962年病逝于成都。