生于烏克蘭克里米亞州葉夫帕托利亞市，1927年九年級畢業(yè)后在基洛夫州科捷利尼奇市地區(qū)聯(lián)合日用百貨倉庫當包裝工，1930年開始在共青團工作，任工業(yè)聯(lián)合企業(yè)組織書記。1932年5月29日被團組織推薦入伍進高爾基裝甲兵學校，1934年11月畢業(yè)后分配到西伯利亞軍區(qū)29步兵師擔任排長。1937年入黨。

1938年任遠東方面軍39軍第2機械化旅坦克連長時參加哈桑湖戰(zhàn)役，時年27歲，給日本帝國主義迎頭痛擊。獲軍功章，戰(zhàn)后升獨立坦克營營長。偉大衛(wèi)國戰(zhàn)爭時期，1941年6-9月在西方面軍擔任坦克團參謀長，1941年10月起任卡累利阿方面軍裝甲坦克兵局處長助理，1942年4月任處長，6月任局參謀長，1943年1月任方面軍裝甲機械化部隊局參謀長，9月9日授上校，1944年3月任該方面軍32集團軍裝甲坦克和機械化兵司令，參加了保衛(wèi)和解放蘇聯(lián)北極地區(qū)的作戰(zhàn)，表現(xiàn)勇敢，并在指揮坦克部隊方面顯示了高超的才干，深得方面軍司令基里爾·阿法納西耶維奇·梅列茨科夫元帥賞識。

45年9月進裝甲兵學院學習。1947年11月畢業(yè)后任坦克團長。1948年5月任坦克師參謀長，1949年12月進總參軍事學院，1952年1月畢業(yè)后任機械化師師長，1953年8月3日授坦克兵少將，1954年12月任集團軍參謀長，1958年3月任集團軍司令，1959年5月25日授中將軍銜，1960年1月任莫斯科軍區(qū)第一副司令兼參謀長，1964年4月13日授上將，7月任列寧格勒軍區(qū)第一副司令，1965年10月任司令，1967年4月12日授大將并擔任蘇聯(lián)國防部第一副部長，開始在蘇聯(lián)軍事領域發(fā)揮至關重要的作用。他具備豐富的實踐經(jīng)驗和精湛的軍事知識，為提高蘇軍的作戰(zhàn)水平、研制致命武器、完善各軍兵種，作出了重大貢獻，于1978年2月17日晉升為蘇聯(lián)元帥。烏斯季諾夫任國防部長期間基本上依重他的軍事指揮經(jīng)驗。1979年12月27日起作為前敵總指揮隨蘇軍土耳其斯坦軍區(qū)40集團軍108師進入阿富汗，從此擔任蘇聯(lián)國防部駐阿富汗作戰(zhàn)指揮組組長直到1984年12月，索的幼子同時也在40集團軍一線隊伍中作戰(zhàn)。1980年4月28日，索科洛夫因在指揮出兵阿富汗的作戰(zhàn)行動中表現(xiàn)勇敢堅決，加上平時個人無私忘我的工作，而獲得蘇聯(lián)英雄稱號。1984年接替逝世的烏斯季諾夫擔任國防部長這一崇高職位。

1987年5月28日，發(fā)生了西德冒險家魯斯特駕機闖紅場事件，5月30日，蘇共中央總書記戈爾巴喬夫借此將索科洛夫、蘇聯(lián)國防部副部長兼防空軍總司令科爾杜諾夫空軍主帥、國防部副部長盧舍夫大將等10名將軍和其余298名校尉軍官撤職。解職后被授予榮譽武器——手槍1把。1987年成為國防部總監(jiān)察組總監(jiān)，1992年9月成為俄羅斯國防部長特別顧問。1968-1991年為蘇共中央委員�？死锬景雿u立有他的半身銅像。 此外，索科洛夫也是活到21世紀的前蘇聯(lián)軍官中年齡最大的一位。 2012年8月31日，蘇聯(lián)元帥謝爾蓋·索科洛夫在莫斯科因病去世，享年101歲，葬在紅場克里姆林宮宮墻下，成為繼烏斯季諾夫元帥以后最后一位葬于此的蘇聯(lián)國防部長。俄軍政高層及俄共主席久加諾夫均有出席。

受嘉獎情況:1枚蘇聯(lián)英雄金星獎章，3枚列寧勛章，2枚紅旗勛章，1枚一級蘇沃洛夫勛章，1枚偉大衛(wèi)國戰(zhàn)爭一級勛章，2枚紅星勛章，1枚“蘇聯(lián)武裝力量為祖國服務”三級勛章，18枚獎章（其中包括保衛(wèi)極圈地區(qū)獎章），以及35枚國外獎章勛章。1995年俄羅斯總統(tǒng)頒發(fā)給他1枚俄羅斯朱可夫勛章。