光緒四年冬（1878年）在江西省廣豐縣城關鳥林街出生，有五兄二弟一姐，排行第六，父親俞承典。

先就讀于私塾，后到上饒信江中學讀書，受維新思想影響。

1900年，在江西武備學堂求學時，結識李烈鈞、歐陽武、彭程萬等，開始參與反清革命活動。

1905年，俞應麓考取江西留日官費生，據《清末各省留日學生姓名籍貫學校證書號次表》記載，他的證書為二一九九號。入振武學校，與浙江黃郛、江蘇唐凱等為同班同學。后考入日本參謀部測量修技所三角科深造，習軍事測繪。在東京與彭程萬一同加入同盟會。

1910年，俞應麓回國，在南昌辦江西省測繪學堂。

1911年10月10日，武昌起義爆發(fā)。10月30日晚，俞應麓與彭程萬率眾配合革命軍光復南昌。其后又率軍配合黃興攻占南京。11月28日任江西都督府代表出席起義17省代表會議，投票選舉孫中山為中華民國臨時大總統(tǒng)。

1912年后歷任江西都督府軍務部長、軍政司長兼贛軍第一師師長、代理督軍、都督府高等顧問官等職。

1913年支持李烈鈞通電討袁，失敗后逃亡日本、南洋。

1915年冬前往云南，在云南講武堂任教。同年12月25日云南出師討袁，俞應麓隨李烈鈞第二軍轉戰(zhàn)廣西百色、廣東肇慶等地。

1917年出任廣東軍政府大元帥府高級參謀，授銜上將。1923年隨大元帥府參謀總長李烈鈞輔助孫中山擊敗叛將陳炯明，轉戰(zhàn)潮州。

1924年4月，孫中山任命俞應麓為江西宣撫使。10月陪同孫中山于11月由上海乘船取道日本轉赴天津、北京，并于孫中山病逝后參加治喪事宜。

1927年，因受蔣介石排擠，毅然退出軍政界。于當年10月還鄉(xiāng)。

1928年春于常山成立“常玉汽車路股份有限公司”籌備處，1929年秋常玉路建成通車后公司正式成立，俞應麓任董事長，其弟俞應凱（原京張鐵路工程師）先后任公司工程科長、經理。1931年完成由玉山延伸到廣豐的公路。

1942年夏，日本侵略軍侵入贛東，常玉汽車路公司倒閉。日軍進入廣豐后，企圖請其擔任偽職，被拒絕。

1948年9月，與中共地下黨取得聯系，暗中支持其工作。同年11月策反了江西省地方保安團的一營長王其雨和一營的兵力。后出任臨時治安委員會主任、支前委員會主任。

1951年初，共產黨鎮(zhèn)反運動開展后受到誣陷，以“通匪反叛”、“貪污公糧”、“惡霸”等罪名，于1951年4月4日被判死刑，并立即執(zhí)行。

1989年7月29日由上饒地區(qū)中級人民法院終審判決，宣告無罪，公開平反，恢復政治聲譽。

在日本時，俞應麓與日本女子[安間依姬結婚，生長子安間勇。

1919年，與原配妻子楊曉春，于江西省廣豐縣生子俞百釗。

20年代駐兵汕頭時，結識當地女學生吳鳳瓊，生子俞百巍。

1942年吳鳳瓊病逝于上海后，與玉山八都寡居女教師盧凌云成婚。