伏龍芝1904年在彼得堡工學(xué)院上學(xué)時(shí)參加俄國社會民主黨，逐漸地他成為一名出色的工人運(yùn)動(dòng)組織者，在說到他的志愿時(shí)，1905年參加彼得堡10萬工人請?jiān)赣涡惺軅�后給他媽媽的信中，就說得很清楚，他“已把自己的一切獻(xiàn)給革命”，革命的需要，就是他可選擇的一條不平坦的道路。在他生命中，有一件永遠(yuǎn)使他無法忘懷的事，那就是他第一次和列寧交談。

1906年4月，他作為伊萬諾沃—沃茲涅先斯克布爾什維克的代表，出席了俄國社會民主工黨第四次代表大會。在會議休息時(shí)間，列寧很有興趣地和他談起了關(guān)于軍事斗爭問題。列寧當(dāng)時(shí)曾對他說，莫斯科起義說明革命需要自己的軍事家、布爾什維克要比沙皇軍官更好地懂得軍事。列寧的這次談話給了他極大的鼓舞，使他開始了對軍事的研究，并在革命斗爭中開始注意了對工農(nóng)群眾的武裝訓(xùn)練。1917年彼得格勒武裝起義爆發(fā)時(shí)，他正在舒雅縣任蘇維埃主席。當(dāng)聽到武裝起義勝利的消息后，他就立即率領(lǐng)一支由2000多名工人和士兵組成的武裝隊(duì)伍趕到莫斯科支援。

伏龍芝在早期的武裝斗爭已經(jīng)充分地表明他的軍事才能，這也就決定了他在蘇維埃政權(quán)遭到帝國主義武裝干涉后，真正地走上軍事的崗位。1918年8月，他正式被任命雅羅斯拉夫爾軍區(qū)的軍事委員，同時(shí)12月，又被任命為第4集團(tuán)軍司令員。1919年春，盤距在西伯利亞的沙俄海軍上將高爾察克以20萬兵力越過烏拉爾山向莫斯科推進(jìn)時(shí)，他以東方面軍南集群司令員的身份組織起對高爾察克的反攻。1919年8月，他又改任土耳克斯坦方面軍司令員，肅清了當(dāng)時(shí)的反革命武裝。

以后，他又轉(zhuǎn)戰(zhàn)于南方面軍，一次又一次地?fù)魸⒘藚f(xié)約國的武裝干涉軍。其中最著名的一仗，就是克里木戰(zhàn)役。弗蘭格爾部憑借彼列科普地峽的天然地形，請法國軍事專家修筑了堅(jiān)固的工事，吹噓這里是第二個(gè)凡爾登，是不可攻破的。但是，戰(zhàn)斗中，伏龍芝奇兵突起，強(qiáng)渡錫瓦什海峽成功，一切神話都破滅了。列寧對這次戰(zhàn)役評價(jià)很高，認(rèn)為“這次勝利是紅軍史上最光輝的一頁”。為了表彰他的功績，蘇維埃政府授予他榮譽(yù)革命武裝—一把帶有“人民英雄”題詞的軍刀。

自此以后，伏龍芝歷任軍職。1924年3月被任命為蘇聯(lián)革命軍事委員會副主席，陸海軍副人民委員，并兼工農(nóng)紅軍總參謀長，軍事學(xué)院院長（后該軍事學(xué)院以他名字命名，即伏龍芝軍事學(xué)院）。1925年1月，任蘇聯(lián)革命軍事委員會主席、陸軍、海軍人民委員。

伏龍芝患有胃潰瘍，經(jīng)過食療后在1925年秋天基本沒有復(fù)發(fā)過，但是醫(yī)生的兩次會診都認(rèn)為他應(yīng)該手術(shù)。他認(rèn)為不用手術(shù)，但是斯大林堅(jiān)持讓他去做手術(shù)，說這可以“一勞永逸”地?cái)[脫胃潰瘍。手術(shù)開始后醫(yī)生果然發(fā)現(xiàn)沒有必要手術(shù)，因?yàn)闆]有發(fā)現(xiàn)任何潰瘍。但是由于伏龍芝的心臟承受不了因麻醉效果不好而增加一倍的氯仿的劑量（當(dāng)時(shí)已有更好的藥乙醚但沒有給他使用），他在手術(shù)30個(gè)小時(shí)后死于心臟麻痹。

當(dāng)時(shí)斯大林正進(jìn)行反托洛茨基反對派的斗爭，而伏龍芝接替了托洛茨基的軍隊(duì)職務(wù)。伏龍芝死后，接替他被任命為陸海軍人民委員的是忠于斯大林的人伏羅希洛夫。