年幼時家道中落，曾學(xué)縫紉、制糕餅以補(bǔ)貼家用。稍長，隨父就讀于治陽家塾，后入學(xué)為附生。光緒二十四年(1898)先后任云南通海知縣、南安州(今雙柏縣)州判。三十四年(1908)三月，調(diào)蒙自知縣。經(jīng)調(diào)查研究，上書總督李鐘軒對全縣農(nóng)田水利、賦役、學(xué)校、警察、種植工藝、訟獄各方面，條陳“利弊之所在，興革之所宜”。李立即復(fù)信同意，并印發(fā)給其他州縣參照執(zhí)行。宣統(tǒng)年間任通海知縣，后調(diào)云南個舊錫務(wù)府，并以道員在任候選。但未及到任，清室已亡。

1913年，周秋浦任財政部長，以胡思義為財政部國稅廳總籌備處主任，兼財政部籌議員。不久，調(diào)任兩浙鹽運(yùn)使、淮安關(guān)監(jiān)督。其間，“每歲溢定額數(shù)十萬或百余萬不等，民不加賦，而國用益饒�！逼浜髢扇伟不帐∝斦�廳長。安徽較貧瘠，且財政制度紊亂。胡接任后，治事條理井然，開源節(jié)流，“紊者秩然以理，竭者沛然以盈�！�

南潯鐵路原來是招集商股創(chuàng)辦，民國初年因資本不敷，兩次向日本東亞興業(yè)株式會社借款750萬元。1915年5月，推舉李盛鐸為總理。李接辦5年之久，均在北京遙領(lǐng)其事，未嘗駐局，路事無人主持，亦無賬目向股東報告，股東意見紛紛。1920年12月，經(jīng)各股東議決，電呈交通部將李盛鐸總理資格取消，推舉胡思義為臨時總理，對路務(wù)進(jìn)行治理整頓。接任后，他積極整頓路務(wù)，健全管理制度，并改建南昌火車站。1924年6月第十三次股東大會上，被選為總理。

1925年，胡思義出任江西省長。督軍方本仁多次要求擴(kuò)充軍備，增加軍費(fèi)，并要胡發(fā)行官票以解決軍需。胡思義認(rèn)為此舉增加百姓負(fù)擔(dān)，予以拒絕。發(fā)生爭議，胡被逼辭職，就任三月便去職。官場失意，回歸家鄉(xiāng)宜豐經(jīng)營商業(yè)。在縣城開設(shè)“義泰”當(dāng)鋪和擁有近百個紙槽的“振宜”大紙莊。

1926年10月，北伐軍派王茂泉到宜豐當(dāng)縣長。王是國民黨左派，支持農(nóng)民運(yùn)動，其工作重點(diǎn)是發(fā)展國民黨員，籌建縣黨部。胡思義與國民黨右派及當(dāng)?shù)睾兰澋刂鞣磳�農(nóng)民運(yùn)動，阻撓籌建縣黨部工作。12月中旬，國民黨宜豐縣首次代表大會召開，胡指使人搗亂會場，被縣黨部開除出黨。沒收豪紳地主經(jīng)營的眾會財產(chǎn)。

1927年年2月23日，魏道襄任宜豐縣長，魏一上任，便宣布恢復(fù)胡思義等人的國民黨黨籍。胡、魏互相勾結(jié)，誣蔑農(nóng)民起來打土豪是“土匪行動”、“破壞了社會秩序”，揚(yáng)言要“取消農(nóng)民協(xié)會，捉拿共產(chǎn)黨人”。由魏下令停撥農(nóng)協(xié)經(jīng)費(fèi)，釋放在押土豪劣紳。同時，由胡思義出錢，收買暴徒打手，搗毀了花橋等鄉(xiāng)農(nóng)協(xié)，農(nóng)協(xié)骨干8人被捕入獄。

宜豐的農(nóng)民運(yùn)動并未因此停息，共產(chǎn)黨人領(lǐng)導(dǎo)農(nóng)會進(jìn)行了針鋒相對的斗爭。胡思義壓不垮農(nóng)民運(yùn)動，便和魏陰謀策劃，組成“公民請愿團(tuán)”赴省告狀，乞求省政府派兵鎮(zhèn)壓，中共宜豐黨小組機(jī)智地挫敗了胡思義的陰謀，配合省農(nóng)會和工人糾察隊，將“公民請愿團(tuán)”成員全部逮捕。胡思義得此消息，坐立不安，又派遣心腹打手十多人，埋伏澄塘板橋，攔路將共產(chǎn)黨員胡松綁架到縣。當(dāng)天，胡思義在縣城隍廟召集土豪劣紳開會，宣布胡松犯有“擾亂治安罪”，將其下獄。5月上旬，中共高安黨組織派農(nóng)民自衛(wèi)軍100多人到宜豐援助農(nóng)民運(yùn)動。見高安農(nóng)民兵臨城下，魏化裝從西門潛逃，胡亦連夜逃往上海。

1928年胡思義避居上海期間，創(chuàng)辦“江西征文會”，發(fā)行《國學(xué)選刊》，攻擊新文化運(yùn)動。

1931年，參加籌辦中國實(shí)業(yè)銀行，任該行江西分行行長。

1932年任江西省財政委員會委員長，兼任江西慈善總會主席，被國民黨江西省政府聘為“清匪”會議籌備員。他在專門圍剿工農(nóng)紅軍的全省所謂“清匪會議”上竟然建議舉辦“江西特種物品產(chǎn)銷清匪善后捐”，專充保安經(jīng)費(fèi)之用。胡被委任為“清匪善后捐管理局”局長，胡為籌集“剿共”經(jīng)費(fèi)，賣盡力氣。他說：“燎原之火不早撲滅，贛民寧有噍類乎？……就職以來，夙夜祗懼，殫精竭慮，悉心規(guī)劃；……但能從此肅清余孽，任何犧牲，亦所不辭�！辈�對全省大宗產(chǎn)銷貨物，如木竹、紙張、夏布、油類、豆類、藥材、陶瓷等，加征稅捐，引起省內(nèi)外工商戶極度不滿，遂在聲討聲中辭職下臺。不久改任江西省救濟(jì)院院長。

1933年8月，改任省政府參議。1938年后寓居上海，閉門讀書自娛。1944年秋，拒絕汪偽政權(quán)請其出任偽江西省長一職，攜眷潛返宜豐居住。建國后，在退租退債運(yùn)動中，胡思義指使家人抗拒，1950年2月，縣公安局派員赴省將其逮捕回縣。1951年1月病死獄中，年72歲。

1928年與陳三立、藍(lán)鈺、華烽等10余人發(fā)起創(chuàng)設(shè)江西征文會，聘耆宿評定，將征文評選匯編出版。1928年10月編輯《國學(xué)選刊》第一輯，由上海中華書局發(fā)行。曾將其父、兄著作分別編印為《祈讀軒詩鈔》和《陟岡集》。胡還曾在家鄉(xiāng)創(chuàng)辦鹽步書院、耐寒學(xué)社、國學(xué)專修院，接辦退廬圖書館，創(chuàng)建常平倉、義倉，從事育嬰、施藥等慈善事業(yè)。與其伯兄胡桐庵，倡辦農(nóng)事試驗場于宜豐東門外，“凡桑麻桐茶果實(shí)之屬，無所不植”。