少時入私塾攻讀，塾師贊其敏慧過人。

小學、中學各科成績優(yōu)異。

尤其酷愛文藝、美術、書法，每于課余假日，學畫、學書興趣日濃，基礎漸固。

1924年考入當時由張聿光、潘天壽等發(fā)起并創(chuàng)辦的上海新華藝術專科學校，專攻山水畫，其作品聞名遐邇，人稱“段山水”。后任上海新華藝術�？茖W校校長，與黃賓虹共事。

1928年春季任縣立大西街小學校長，下期受聘于四川美專擔任國畫教師。

繼與馮建吳等集資創(chuàng)辦成都“東方美術�？茖W校”，任首屆校長，兼授山水畫。其后又擔任過中學美術、國文教師和教導主任。

抗日戰(zhàn)爭時期，他曾參加戰(zhàn)地服務團，與詩人臧克家等文化名人一起，搞救亡宣傳工作。

因患胃病，1944年從戰(zhàn)地歸來，就任蓬溪縣民眾教育館館長。

1946年，任蓬溪縣政府教育科科長，次年加入中國民主同盟。

建國初，任蓬溪城廂鎮(zhèn)鎮(zhèn)長，繼擔任蓬溪中學教導主任兼美術教師。

1956年，虛谷被選拔到西南師范學院美術系任國畫研究室主任，教山水畫、書法和《四川美術史》等課，他精心育人，作出了顯著成績，多次評為先進教育工作者。

除擅長山水畫外，對祖國傳統(tǒng)藝術、詩文、書法、金石等造詣亦深。

他根據(jù)多年教學和創(chuàng)作的實踐經(jīng)驗，畫成整套山水畫范本；編寫《山水畫技法講義》和《四川美術史講義》，作為西南師范學院美術系教材。

段虛谷先生對中國文人畫頗有研究，其作品融詩情畫意于筆墨之中。

1960年，他的《青城煙雨》被著名的美術評論家王朝聞贊為“意境清幽之作”。

其作品“平正典雅、清癯勁健，淡泊蕭疏，意境高遠。”

虛谷先生晚年在西南師范學院遭受“文革“的沖擊，1977年因病去逝，終年73歲。

      他以嘉陵江、縉云山及川北家鄉(xiāng)景色為題材創(chuàng)作的山水畫，如《山窮水盡疑無路，柳暗花明又一村》、均被畫界稱道。

特別是他的題畫詩，落《野火燒不盡，春風吹又生》、《四川天塹》、《縉云絕頂》、《北泉飛瀑》等款格式，既與書法藝術巧妙結合，更不脫古樸風韻，堪稱三絕。