1964年赫貝格爾退休后他正式接過國家隊的教鞭，在國家隊主教練的位置上一直干到1978年。在14年里舍恩率隊參加139場比賽，成績87勝30平22負(fù)，成績斐然。期間，西德隊曾獲1966年世界杯亞軍、1970年世界杯季軍、1972年歐洲杯冠軍和1974年世界杯冠軍。

　　1966年舍恩初露鋒芒，在當(dāng)年英格蘭舉辦的第八屆世界杯賽上他率領(lǐng)上屆只得第六名的西德隊一路過關(guān)斬將，先以5∶0勝瑞士隊，4∶0勝烏克蘭隊，再以2∶1勝西班牙隊，2∶1勝蘇聯(lián)隊。這幾場比賽每場都是惡仗，但舍恩用兵有方，調(diào)度得力，運籌帷幄，顯示了膽識兼?zhèn)溆杏掠兄\的特點。

　　在執(zhí)教兩年后，1966年世界杯賽上西德隊第一次上演了不俗表現(xiàn)，這是他執(zhí)教生涯的一個良好開端，也是舍恩率領(lǐng)西德隊迎來第二個高峰期的開端。因此，"金色的70年代"才順理成章地載入了德國足球運動史中。

　　1968年的歐洲錦標(biāo)賽，西德隊被南斯拉夫隊擋在了決賽圈之外，結(jié)果輿論對他痛加撻伐，有的球迷甚至罵他是"蠢才"，要他收拾行李滾蛋。但舍恩是個鋼鐵男兒，他沒有意氣用事，他知道他的隊員、足協(xié)的同事和足壇的行家們會理解他支持他。

　　舍恩以治隊嚴(yán)格聞名。1970年第九屆世界杯在墨西哥舉行。大賽期間，他除了在訓(xùn)練方面對隊員要求嚴(yán)格之外還對隊員的飲食提出了嚴(yán)格的要求。

　　在墨西哥杯賽上，雖然西德隊在小組賽和1/4決賽中都一路順風(fēng)，但在半決賽中卻遇到了以防守嚴(yán)密而聞名的意大利隊，失去了決賽資格，只獲得了第三名。賽后舍恩壓力過大，精神極度緊張，最后導(dǎo)致胃潰瘍，胃被切除了一半。

　　1972年，西德隊第二次參加歐洲錦標(biāo)賽。在這次大賽上，西德隊以3∶0擊敗了蘇聯(lián)隊，第一次奪得歐洲冠軍。舍恩第一次露出了滿意的笑容。4年前他敗在南斯拉夫腳下，今天他傲視歐洲足壇，他成功了。他和隊員們揚眉吐氣。

　　從這屆歐洲錦標(biāo)賽開始，德國"金色的70年代"拉開了序幕。兩年后的1974年世界杯在西德本土舉行，他志在必得。這屆世界杯賽上，舍恩創(chuàng)造了"自由人"這一位置，讓貝肯鮑爾擔(dān)當(dāng)這一角色，結(jié)果收到了奇效。西德隊奪冠后，西德足協(xié)建議獎勵舍恩3萬馬克，他婉言謝絕了："我什么都不要，我只要能奪冠就行了。"他說到做到，視榮譽如生命。

　　1976年，西德隊在歐洲錦標(biāo)賽上沒有衛(wèi)冕成功，在決賽中不敵捷克隊。雙方在最后靠點球決勝負(fù)的時候捷克人運氣更好，德國人屈居亞軍。但舍恩創(chuàng)造的自由人位置給足球運動增添了新的概念，使現(xiàn)代足球技術(shù)向前邁進(jìn)了一大步。

　　1978年在阿根廷舉辦的第十一屆世界杯賽上，63歲的舍恩在主將貝肯鮑爾和轟炸機(jī)穆勒退役的情況下仍然揮師阿根廷，希望挾上屆世界杯冠軍的余威再接再厲創(chuàng)造出一個奇跡，但這種良好的愿望沒能實現(xiàn)。他們最后只獲得了第六名。賽后輿論壓力太大，舍恩引咎辭職，告別了主教練一職。

　　舍恩一生酷愛足球，桃李滿天下，他的大部分學(xué)生現(xiàn)在都成就卓著，活躍在國際足壇上