生于波盧季諾村。1919 年參軍，參加國內戰(zhàn)爭。同年參加平定基涅什馬縣和科斯特羅馬縣的反革命叛亂。1931 年加入聯(lián)共（布）黨。1922一1928年在莫斯科軍區(qū)部隊服役，歷任排長、副連長和營長。1931年伏龍芝軍事學院畢業(yè)后在烏克蘭軍區(qū)先后任團參謀長、師司令部科長和機械化軍處長。1933年畢業(yè)于工農紅軍機械化和摩托化學院速成班，歷任機械化旅旅長和機械化軍參謀長。在后貝加爾軍區(qū)工作。參加過蘇芬戰(zhàn)爭。蘇德戰(zhàn)爭開始時為上校。從第十六集團軍參謀長時代就跟著 康斯坦丁·康斯坦丁諾維奇·羅科索夫斯基，歷任 布良斯克方面軍參謀長、 頓河方面軍參謀長、中央方面軍參謀長、 白俄羅斯方面軍參謀長和 白俄羅斯第1方面軍參謀長，參加準備和實施莫斯科、斯大林格勒、庫爾斯克、白俄羅斯戰(zhàn)役 、1943 年晉升上將，是羅科索夫斯基元帥的副手和第一心腹。

他性情急躁，和羅科索夫斯基搭配相得益彰，其主要特點是制定作戰(zhàn)計劃精打細算，用創(chuàng)造性的辦法組織部隊行動，力求不等待司令員的指示就提出必要的合理建 議來警示上級。結果，馬利寧所領導的這個司令部是所有司令部里最優(yōu)秀的，在這個司令部中工作的人員工作得很協(xié)調、友好。蘇聯(lián)有輕視參謀人員的傳統(tǒng)，當羅科索夫斯基為他的前程著想，想推薦他擔任集團軍司令時，他固執(zhí)的拒絕了，他寧愿當羅帥一輩子的參謀長。但羅科索夫斯基被剝奪占領柏林的榮譽而改任白俄羅斯第2方面軍司令的時候，羅為了他不至于也失去這個光榮而把他留給了下任 朱可夫當參謀長。輔助朱可夫進行了華沙一波茲南、東波美拉尼亞和柏林等戰(zhàn)役。1945年獲蘇聯(lián)英雄稱號。戰(zhàn)后歷任駐德軍隊集群副總司令兼參謀長、1952-1960年任蘇聯(lián)武裝力量第一副總參謀長。在這些崗位上為改進部隊訓練和教育以及訓練大型司令部，做出了重大貢獻。蘇聯(lián)第三、四屆最高蘇維埃代表。1952-1956 年為蘇共中央候補委員，1956-1960年為蘇共中央檢查委員會委員。1953年晉升大將。1960年在莫斯科去世。

獲列寧勛章4 枚，紅旗勛章3 枚，一級蘇沃洛夫勛章2 枚，一級庫圖佐夫勛章2枚，二級蘇沃洛夫勛章和紅星勛章各1枚，獎章及外國勛章多枚。