1880年1月2日出生于福岡縣 小倉藩一個武士家庭。1893年4月，進入 福岡縣立豐津中學學習。1898年3月，杉山元中學畢業(yè)后即應征為陸軍士官后補生。同年12月調(diào)進 小倉第14步兵聯(lián)隊。1899年12月，杉山元進入 陸軍士官學校，1900年12月21日，從 日本陸軍士官學校第12期畢業(yè)。

1902年6月25日，被授予少尉軍銜。1903年晉升為中尉。1904年2月，杉山元任第14步兵聯(lián)隊第3大隊副官，隨第12師團主力在仁川登陸，參加 日俄戰(zhàn)爭。在中國東北 本溪湖附近參加 沙河會戰(zhàn)時，杉山元頭部負傷，傷愈后留下終身疤痕，右眼臉下垂，這也是他的明顯標志。1905年4月改任中隊長，5月被任命為預備隊中隊長并返回國內(nèi)。同年6月晉升為上尉。1906年4月，杉山元與山本清真結婚，但山本于次年死于肺結核。

1907年，杉山元考進 陸軍大學22期學習。1910年畢業(yè)后調(diào)到 參謀本部情報部任職。不久即與 小川又次大將之女義子結婚，但義子亦于次年死于肺結核。1912年化裝為海軍中尉隨日本練習艦隊相繼出訪菲律賓和新加坡，偵查當?shù)胤绖铡?914年3月，杉山元晉升為少佐，調(diào)回 小倉第14步兵聯(lián)隊任職。1914年8月，杉山元任第14步兵聯(lián)隊大隊長。

1915年再次出任 英屬印度武官，結識了早期印度獨立運動的一名領導人布斯（Rash Behari Bose，1886-1845，曾策劃1912年遷都德里爆炸案），并不顧英日同盟，掩護對方逃到日本，他這樣做贏得了包括 錢德拉·鮑斯等人的好感。1918年出訪中東，參觀了英國將領 埃德蒙·艾倫比指揮的美吉多戰(zhàn)役，認識了飛機在第一次世界大戰(zhàn)中的作用。隨后任國際聯(lián)盟空軍代表隨員，回國后大力鼓吹建立陸軍航空兵。1918年12月，杉山元被任命為第2航空大隊隊長。1921年6月，晉升為大佐。1922年4月，任 陸軍省軍務局首任航空課長。1923年8月，改任軍事課長。1925年5月1日，杉山元晉升為少將。1928年8月，調(diào)任陸軍省軍務局長。1930年8月，晉升為中將，被任命為陸軍次官。

1931年7 月，他主持制定了《解決滿蒙問題方策大綱》，明確規(guī)定日本侵略中國東北的原則、步驟和措施。9月18日清晨，九一八事變發(fā)生的消息傳到東京后，杉山元緊急約見陸軍省軍務局長小礬國昭和 參謀本部次長二宮重治，共同決定利用這一時機擴大事態(tài)，一舉實現(xiàn)獨霸中國東北的夢想。由于杉山元等軍部首腦人物的慫恿、唆使， 關東軍加緊擴大侵略戰(zhàn)爭。不久，中國東北全境即全部陷入關東軍的控制之下。1931年12月13日， 犬養(yǎng)毅政友會內(nèi)閣成立，荒木中將任 陸軍大臣，杉山元中將依然擔任陸軍次官。

就在日本侵略軍同中國國民黨軍隊作戰(zhàn)最激烈之時，2月底，杉山元被調(diào)任駐 久留米的第12師團師團長，離開了陸軍省。在任師團長的一年多里，杉山元舉辦講演會，煽動人們的軍國主義思想，以策應對中國的侵略。

1933月，杉山元被調(diào)任日本航空本部部長。任內(nèi)重新制定航空兵操典，為日本陸軍航空兵戰(zhàn)術和航空兵教育奠定了基礎。在他的不斷努力下，日本陸軍航空兵發(fā)展成一支有效的作戰(zhàn)力量，他因此被稱為日本陸航第一人。

杉山元是日本二戰(zhàn)期間的晉升的陸軍三元帥之一。

九一八事變后，在陸軍內(nèi)部，擁戴 荒木貞夫、 真崎甚三郎的激進青年軍官為中心的“ 皇道派”同以 陸軍省軍務局長 永田鐵山大佐為主體的“統(tǒng)制派”，在這兩派斗爭中，杉山元坐收漁翁之利，在同年8月的人事調(diào)動中，晉升為參謀 次長并兼 陸軍大學校長，1936年 二·二六事件發(fā)生后，杉山元因受到牽連而辭去參謀次長的職務。

1936年8月，杉山元任陸軍三大核心首腦之一的教育總監(jiān)兼軍事參議官，11月2日，晉升為陸軍大將。1937年2月任 林銑十郎內(nèi)閣 陸軍大臣。該屆內(nèi)閣倒臺之后，在 近衛(wèi)文麿內(nèi)閣里繼續(xù)留任陸軍大臣。

1937年7月7日，盧溝橋事變爆發(fā)。 杉山元身為陸軍大臣，極力主張增加駐華兵力，擴大戰(zhàn)爭規(guī)模，他強硬的反駁不擴大派的 石原莞爾：“所謂不擴大，只是避免全面戰(zhàn)爭，而不是不顧皇軍的威信�！彼�向 昭和天皇擔保，三個月解決中國事變。7月 11日責成 陸軍省和 參謀本部有關部門共同制定了《關于華北作戰(zhàn)的協(xié)定》，向內(nèi)閣提出增兵華北方案，7月18日，首相近衛(wèi)文麿召開“五相會議”，身為陸相的杉山元力主增兵華北，7月23日晚，他親自向內(nèi)地 第五師團、 第六師團、 第十師團下達動員令。向華北增兵二十萬，馬五萬匹。8月15日，日本政府發(fā)表了由杉山元起草的《對華宣戰(zhàn)聲明》，全面侵華戰(zhàn)爭被付諸實施。

杉山元于1938年6月改任軍事參議官。11月，杉山元在做盲腸炎手術休養(yǎng)期間被調(diào)任北支派遣軍司令官，接替 寺內(nèi)壽一。12月，大本營向杉山下達任務：維持占領的華北地區(qū)的安定局面，努力迅速恢復河北省北部、山東省、山西省西部及內(nèi)蒙地區(qū)的治安，確保主要交通線的安全。他指揮日軍開展了3次以武力為中心的“治安肅正” 作戰(zhàn)，妄圖摧毀華北敵后 抗日民主根據(jù)地。

1939年9月中旬，日軍調(diào)整在華日軍序列，在南京設 中國派遣軍總司令部，統(tǒng)一指揮北支派遣軍、第11軍、第13軍和第21軍，任命教育總監(jiān) 西尾壽造大將為司令官，前 陸軍大臣 板垣征四郎中將為參謀長。

1940年10月，昭和天皇挑選愚魯?shù)纳忌皆�接替年邁的皇族閑院宮 載仁親王出任參謀總長。杉山也成了繼 上原勇作元帥之后第二個在陸軍三大衙門都做過主官的軍人。

1940年11月13日，杉山元以參謀總長身份出席御前會議，討論并通過大本營提出的“中國事變處理要綱”。

1941年3月下旬到4月下旬，杉山元曾親自前往中國南部、法屬印度支那、泰國、馬來西亞、印度尼西亞等地進行視察，為開戰(zhàn)做準備工作。

1941年9月3日，杉山元提出必須規(guī)定出談判的截止日期，否則將不利于日本的國家利益。5日下午，首相近衛(wèi)文麿與杉山元、海軍軍令部長 永野修身一起進宮，向天皇稟報大本營聯(lián)絡會議的結果。杉山元頗有把握地向天皇啟奏了已擬好的對馬來西亞、新加坡和菲律賓的作戰(zhàn)計劃，并向天皇保證在150天占領東南亞，奪取印度尼西亞的石油。

1941年12月8日，日軍偷襲美國 海軍基地珍珠港，太平洋戰(zhàn)爭爆發(fā)。戰(zhàn)爭之初，參謀總長杉山元協(xié)助天皇指揮日軍靠“先機”之優(yōu)勢，迅速侵入東南亞各國，70天攻克新加坡。100天攻克印度尼西亞，摧毀了英國、荷蘭在當?shù)氐闹趁窠y(tǒng)治，占領了東南亞450平方公里和西南太平洋大部分地區(qū)，比預期還要順利的完成了全部作戰(zhàn)計劃。

1943年6月，杉山元獲元帥稱號 。但從1943年起日本的南進作戰(zhàn)就面臨著戰(zhàn)局逆轉的危險，美軍的反攻速度之快，規(guī)模之大遠遠超出了日本人的想象， 瓜島爭奪戰(zhàn)失敗以后，美軍機動艦隊在中太平洋大舉出擊，直沖日本國門，面對危機的局勢。

首相東條英機在1944年初，一人兼任首相、陸軍大臣和參謀總長三職，創(chuàng)造了日本自建軍以來的奇跡。杉山元則不得不辭去參謀總長的職務，轉任教育總監(jiān)，在元帥府和前軍令部總長永野一起，就戰(zhàn)爭和戰(zhàn)爭指導為天皇提供咨詢。 7月，美國海軍在 馬里亞納海戰(zhàn)中大勝，接著突破了日軍絕對國防圈，占領 塞班島，東條4個月的獨裁結束，被迫辭去一切職務，7月22日，遠離政治核心的朝鮮總督 小磯國昭被任命為首相。小磯和杉山是 陸軍士官學校的同期生，關系極為密切。

1944年7月22日，杉山元再次被任命為陸軍大臣。1945年4月5日，內(nèi)困外焦的小磯內(nèi)閣總辭職，樞密院議長 鈴木貫太郎海軍大將受命組閣。

1945年，日軍在各戰(zhàn)場上不斷失利。面對日軍的慘敗，杉山元仍極力主張同美軍頑抗，進行焦土作戰(zhàn)。1945年4月8日，日本拆分本土防衛(wèi)軍，組成第1 總軍和第2總軍。杉山元被任命為第1總軍司令官。司令部設在 東京市谷臺的舊預科士官學校本部。主要負責 津輕海峽以南包括石川、 歧阜、愛知、 三重縣在內(nèi)的本州東部地區(qū)。第1總軍下轄第2方面軍、第11方面軍和第13方面軍，共30個步兵師團，2個坦克師團，2個高炮師團等，約有兵力70萬。

杉山元身為本土作戰(zhàn)的最高負責人之一，極力主張通過徹底抗戰(zhàn)來抵御進攻本土的美軍，并計劃在對方構筑橋頭堡之前，乘對方立足未穩(wěn)之機，將其消滅。1945年7月26日，美英中三國發(fā)表了《 波茨坦公告》，對日本發(fā)出最后通牒，督促其立即投降。杉山元盡管主張頑抗到底，但面對天皇的投降決定無可奈何。8月15日，天皇 裕仁在“玉音廣播”中宣讀了《終戰(zhàn)昭書》。至此，日本法西斯宣告戰(zhàn)敗投降。

1945年9月11日駐日盟軍總部公布了第一批日本 甲級戰(zhàn)犯名單，杉山元未列入名單中。但他自知無法幸免，于9月12日下午5時，在第1 軍總司令官室開槍自殺。 當晚，杉山元的妻子，在得知丈夫自殺的消息后，在自己家里的佛堂，身著全白喪服，依照武士傳統(tǒng)用短刀戳穿心臟自殺 。