羅科索夫斯基1896年12月9日出生于大盧基市。1914年加入沙俄軍隊服役，參加第一次世界大戰(zhàn)。十月革命后，加入赤衛(wèi)軍，1919年加入蘇聯(lián)共產(chǎn)黨。蘇俄國內(nèi)戰(zhàn)爭期間，在騎兵部隊先后任連長、營長、團長。先后進入騎兵指揮人員進修班、伏龍芝軍事學(xué)院高級首長進修班深造。1930年任蘇聯(lián)第7騎兵師師長，后改任蘇聯(lián)第15騎兵師師長。1936年，任蘇聯(lián)第5騎兵軍軍長。1940年，任蘇聯(lián)第9機械化軍軍長。 1941年7月，任蘇聯(lián)西方方面軍所屬的蘇聯(lián)第16集團軍司令。1942年7月，任蘇聯(lián)布良斯克方面軍司令。1942年9月，任蘇聯(lián)頓河方面軍司令，帶領(lǐng)方面軍與保盧斯的德國第6集團軍展開激戰(zhàn)。1943年2月，因蘇聯(lián)頓河方面軍改編為蘇聯(lián)中央方面軍，遂改任蘇聯(lián)中央方面軍司令。1943年10月，任蘇聯(lián)白俄羅斯方面軍司令。1944年2月，任蘇聯(lián)第1白俄羅斯方面軍司令。蘇聯(lián)元帥軍銜。1944年11月，任蘇聯(lián)第2白俄羅斯方面軍司令。1945年6月22日，奉命主持莫斯科勝利閱兵式。

曾獲得7枚列寧勛章，1枚“勝利”最高軍功勛章和其他各類勛章多枚。著作有《軍人的天職》。

羅科索夫斯基是屬于那些經(jīng)得起時間考驗的將領(lǐng)。當(dāng)代的俄國歷史學(xué)家認為羅科索夫斯基最突出的特點是他從不犯錯誤（注：這應(yīng)該理解為他從不犯那種“致命的”錯誤，他打過敗仗的），他打贏了幾乎所有重要的戰(zhàn)役，同時作為一個軍人，他恪守軍人的道德，他十分關(guān)心和體貼他的下屬，他身上沒有另一個蘇聯(lián)著名將領(lǐng)朱可夫的所有的那種粗暴和一切以個人為中心的毛病。所以在他更能得到蘇軍上下的普遍尊重。羅科索夫斯基元帥被認為是“具有朱可夫的能力卻沒有朱可夫的缺點，如果能掌握朱可夫所具有的權(quán)力，他的作為當(dāng)不在朱可夫之下。”