1902年11月9日生于今俄羅斯沃羅涅日州的鮑里索格列布斯克市。1920年加入蘇軍，參加過1920年對波蘭白匪、1921年對坦波夫地區(qū)匪幫和1922年對中亞的巴斯馬奇匪幫的作戰(zhàn)。1923年于土耳其斯坦方面軍政治訓練班畢業(yè)。1924年加入蘇聯(lián)共產(chǎn)黨，任炮兵部隊炮兵連政治指導員，后任團屬學校政治指導員。1929年在炮兵指揮人員進修班結(jié)業(yè)后，任炮兵連長、營長和炮兵團參謀長。

1937年，涅杰林再次入炮兵指揮人員進修班學習，結(jié)業(yè)后作為志愿軍成員參加支持西班牙共和政府的戰(zhàn)爭。1939年回國后任炮兵團長和步兵師炮兵主任。1941年4月任基輔特別軍區(qū)反坦克炮兵旅旅長。偉大衛(wèi)國戰(zhàn)爭期間，他率該旅在南方面軍與敵人進行戰(zhàn)斗。后歷任第18集團軍炮兵副主任、南方面軍和北高加索方面軍所屬第37集團軍和第56集團軍炮兵司令、北高加索方面軍副司令。1941－1943年任炮兵第5軍軍長。

1943年7月至戰(zhàn)爭結(jié)束期間，涅杰林先后任西南方面軍和烏克蘭第3方面軍炮兵司令。在雅西—基什尼奧夫戰(zhàn)役、布達佩斯戰(zhàn)役和維也納戰(zhàn)役中，他巧妙地指揮炮兵，將方面軍炮兵主要兵力果敢地集中在突破地段上。為此，他于1945年4月28日被授予“蘇聯(lián)英雄”稱號。戰(zhàn)后任南部軍隊集群炮兵司令；1946－1948年任武裝力量炮兵參謀長；1948－1950年任武裝力量總軍械部部長；1950－1952和1953年4月－1955年5月任蘇軍炮兵司令，其間1952年1月 －1953年4月任蘇聯(lián)軍事部主管裝備的副部長；1955年3月起任蘇聯(lián)國防部副部長，1959年晉升炮兵主帥，同時兼任戰(zhàn)略火箭軍總司令。

1952年起為蘇共中央候補委員。是蘇聯(lián)第4、5屆最高蘇維埃代表。共獲列寧勛章5枚，紅旗勛章4枚，一級蘇沃洛夫勛章、一級庫圖佐夫勛章、一級波格丹·赫梅利尼茨基勛章、一級衛(wèi)國戰(zhàn)爭勛章和“榮譽”勛章各1枚，獎章及外國勛章多枚。

在美蘇之間進行核武器競賽期間出任蘇聯(lián)軍隊最重要的兵種—戰(zhàn)略火箭軍的第一任總司令，可見涅帥在當時蘇軍中的地位. 1960年10月24日，第一任戰(zhàn)略火箭軍總司令涅杰林為了在與美國的競賽中領(lǐng)先，以報答赫魯曉夫在1959年提拔自己為炮兵主帥的知遇之恩，在導彈準備發(fā)射中出現(xiàn)了一些故障的情況下，竟拒絕了拜科努爾發(fā)射現(xiàn)場總指揮延期發(fā)射的忠告。為了能盡早發(fā)射、爭取時間，總工程師只得違規(guī)準許對各個不同系統(tǒng)同時并進地進行檢查，而不是按規(guī)定的那樣一項一項地來。按照規(guī)定，所有不直接參與發(fā)射準備工作的人員都應到地下水泥掩蔽部去，但涅杰林卻坐在距就要發(fā)射的火箭不遠處的凳子上現(xiàn)場督辦，看著工作人員在發(fā)射塔高處忙個不停。發(fā)射場主任兩次懇請涅杰林轉(zhuǎn)移到安全地方去，他卻置之不理。結(jié)果悲劇發(fā)生了，某部位上面的管子發(fā)生了斷裂，一片耀眼的火光從推進器中冒出。三千攝氏度以上的火海吞噬了發(fā)射場，跟涅杰林一塊坐在火箭旁邊的幾十名將校級火箭專家、技術(shù)人員當場就被燒死了。離的稍遠一些人也被燒得只剩下了人的輪廓，而在現(xiàn)場督陣的涅杰林燒得竟連點灰燼都沒有留下，只找到半塊被燒焦的炮兵主帥肩章和已經(jīng)熔化了的辦公用保險箱的鑰匙。這些東西后來都被裝進骨灰盒，榮幸地被安葬在紅場上克里姆林宮的宮墻下。