兵庫(kù)縣出身，舊筱山藩士磯谷次郎的三男。私立庹平初中鳳鳴義私塾，大阪陸軍地方幼年學(xué)校，中央幼年學(xué)校。1904年畢業(yè)于日本陸軍士官學(xué)校第16期，跟坂垣征四郎，土肥原賢二為同期同學(xué)。1915年陸軍大學(xué)畢業(yè)。1916年任職于參謀本部，1917年被派遣到中國(guó)，1920年駐在廣州。1924年升任中佐，步兵第13聯(lián)隊(duì)大隊(duì)長(zhǎng)，1928年5月第六師團(tuán)副、第3師司令部付(青島機(jī)關(guān)長(zhǎng))，同年8月，步兵大佐第7聯(lián)隊(duì)長(zhǎng)。1930年(昭和5年)3月，第1師參謀長(zhǎng)就任，教育總監(jiān)部第2科長(zhǎng)，人事局候補(bǔ)課長(zhǎng)。1933年晉升為少將，任參謀本部第二部長(zhǎng)。自認(rèn)是日軍中的「支那通」。他的岳父就是日本第一代中國(guó)通，對(duì)華諜報(bào)鼻祖青木宣純。1935年任中國(guó)公使館副武官、中國(guó)大使館副武官。

磯谷一生都專注于長(zhǎng)江以南的政治、軍事，即關(guān)注孫中山和其系統(tǒng)的動(dòng)向。在陸軍中國(guó)通中分為北支派和南支派，北支派主要重視以北京為中心的北支、滿洲，而南支派是關(guān)注國(guó)民黨和中國(guó)共產(chǎn)黨的人，主要注意蔣介石的動(dòng)向。因此兩者存在很大的不同，而且在這對(duì)以后日本陸軍制定對(duì)華政策產(chǎn)生了很大的影響。在陸軍領(lǐng)導(dǎo)層分為歐洲大陸派、英美派、俄國(guó)派、中國(guó)派四派，相互之間充滿著矛盾和爭(zhēng)斗。這也是導(dǎo)致日本對(duì)華政策不斷發(fā)生變化的原因之一�！胺Q為中國(guó)通的軍人也必須分開(kāi)來(lái)看，不能一概而論。作為軍人，詳細(xì)調(diào)查、分析中國(guó)的國(guó)政、國(guó)防、軍事力量、民情，報(bào)告給上司參謀本部，以備戰(zhàn)爭(zhēng)，具有這樣共同的任務(wù)。但對(duì)中國(guó)的關(guān)心的方法、理解的方法卻有很大的不同�！� 日本自明治維新以后，隨著富國(guó)強(qiáng)兵政策的實(shí)施，也開(kāi)始了其大陸經(jīng)營(yíng)。其首要目標(biāo)就是朝鮮和中國(guó)。為此，日本陸軍部早在1870年代就不斷派遣陸軍人員到中國(guó)，偵查中國(guó)的國(guó)情和搜集中國(guó)的情報(bào)，1874年出兵臺(tái)灣后經(jīng)過(guò)日中談判，臨時(shí)派遣被中止，開(kāi)始設(shè)置駐清國(guó)公使館武官。而磯谷也是在這樣的環(huán)境下開(kāi)始對(duì)中國(guó)感興趣的，在陸軍士官學(xué)校畢業(yè)之際，他說(shuō)：“我學(xué)校的成績(jī)都可以，總之希望去支那，不想進(jìn)陸大。”

盡管佐佐木到一在其所著的《一個(gè)軍人的自傳》中，孫中山自稱大元帥，而廣東人卻稱他為“孫大炮”，但磯谷卻不如此認(rèn)為。他對(duì)孫中山持有全部敬愛(ài)之心，視孫中山為老師。1908年由于軍部的命令，磯谷廉介首次在上海訪問(wèn)孫中山。磯谷按照和岡村寧次的約定，開(kāi)始走向支那通之路，但他比岡村提前一步在中國(guó)接觸到孫中山。和孫中山會(huì)見(jiàn)后，對(duì)中國(guó)更加關(guān)心的磯谷在1911年辛亥革命爆發(fā)后，決定在孫中山手下工作。由于磯谷對(duì)孫中山懷有敬意，認(rèn)為孫中山是為中國(guó)國(guó)民獻(xiàn)身，而蔣介石是為自身和宋家的利益接近英美，共同采取抗日、排滿政策。這造成“磯谷一生都沒(méi)有從心里信賴蔣介石”�！霸谥袊�(guó)軍閥和有力者中，與自己國(guó)民的將來(lái)相比，將自己、自已的一族或支持自己的人的利益放在第一位的人多。很多軍人沒(méi)有充分理解那樣的風(fēng)氣�！�

1935年11月8日，在國(guó)民政府發(fā)布幣制改革公告四天后，駐中國(guó)大使館武官磯谷發(fā)表如下關(guān)于幣制改革的武官聲明。作為派出軍部，斷然反對(duì)國(guó)民政府此次的幣制改革。這是因?yàn)閹胖聘母飳?shí)際上只能給支那四億民眾帶來(lái)毀滅。

對(duì)于磯谷武官的強(qiáng)硬聲明，日本陸軍中央部也認(rèn)為：“白銀國(guó)有令必然歸于失敗，白銀國(guó)有給中國(guó)民眾帶來(lái)不幸，特別是依賴英國(guó)的援助乃賣(mài)國(guó)”，非正式地表示贊同。磯谷之所以反對(duì)幣制改革，是因?yàn)樗�認(rèn)為幣制改革是英美兩國(guó)打入中日兩國(guó)之間的一個(gè)鍥子，國(guó)民黨政府實(shí)施幣制改革可能會(huì)得到英美兩國(guó)的大力支持，這樣必然會(huì)擴(kuò)大英美對(duì)中國(guó)的影響力，削弱日本對(duì)中國(guó)的影響。正是從這個(gè)層面上，磯谷反對(duì)幣制改革。正如半年后他又承認(rèn)幣制改革取得很大成效一樣，說(shuō)明他此時(shí)并不是反對(duì)幣制改革本身，而是反對(duì)在英美的幫助下所進(jìn)行的改革。說(shuō)到底，這是反對(duì)英美擴(kuò)大在中國(guó)的影響力，避免給日本的侵略活動(dòng)帶來(lái)困難。

1936年磯谷廉介回國(guó)之際，表達(dá)了他對(duì)關(guān)東軍的對(duì)支政策和蔣介石的看法。他認(rèn)為：“日本的對(duì)支政策沒(méi)有看到辛亥革命以來(lái)中國(guó)新的前進(jìn)方向、民族自然發(fā)展的進(jìn)步，沿襲對(duì)古代支那、軍閥割據(jù)時(shí)代的支那認(rèn)識(shí)，正面否認(rèn)蔣介石所代表的統(tǒng)一國(guó)家的進(jìn)展，依舊從事分治工作�！薄坝捎陉戃妰�(nèi)部的大部分支那通對(duì)支那認(rèn)識(shí)的先入觀念很強(qiáng)，看不到中國(guó)正在前進(jìn)的大勢(shì)，最終迫使蔣陷入不得不親蘇容共的困境�！碑�(dāng)時(shí)，陸軍中的中國(guó)通認(rèn)為蔣沒(méi)有統(tǒng)一中國(guó)的力量，由于中國(guó)是相當(dāng)廣闊且異質(zhì)的國(guó)家，分治工作自然行得通，至少有必要在北支使其分離成立親日滿政權(quán)。這種可能的錯(cuò)誤的對(duì)中國(guó)的形勢(shì)是陸軍普通的想法。

盡管磯谷警告不要用武力推動(dòng)對(duì)中國(guó)的政策，但是，陸軍中央部的大部分人和政府、財(cái)界等人的中國(guó)政策、中國(guó)觀沒(méi)有按照磯谷所說(shuō)的那樣改正。1935年12月，也沒(méi)有從關(guān)東軍向中央提出的意見(jiàn)書(shū)《關(guān)于北支問(wèn)題》的位置上后退一步。1936年中國(guó)發(fā)生震驚中外的“西安事變”，蔣介石遭到軟禁。對(duì)此，磯谷也非常關(guān)注，但對(duì)蔣介石卻給與嘲笑。這“不是沒(méi)有認(rèn)識(shí)到西安事變事態(tài)的重要性，即便討厭蔣介石，對(duì)蔣介石的性格行動(dòng)、政治性進(jìn)行充分研究的磯谷為其祝福掩藏著很深的意義。”

1938年6月磯谷廉介被任命為關(guān)東軍參謀長(zhǎng)，成為陸軍中具有重要影響力的人物。由于和孫文、廖仲愷、汪精衛(wèi)、許崇智、王克敏以及蔣介石等中國(guó)人有很深的交往，磯谷的中國(guó)觀在日本軍人當(dāng)中顯得比較特別。他認(rèn)為日本不應(yīng)該侵略中國(guó)，即使暫時(shí)不得已侵略，也要盡快以和平為要。而副參謀長(zhǎng)石原莞爾卻與此相反。石原認(rèn)為中國(guó)終究不能夠統(tǒng)一，而且滿洲也純?nèi)徊皇侵袊?guó)的領(lǐng)土，乃滿族之地。這種認(rèn)識(shí)不僅是石原，也是日本陸軍、政府和財(cái)界等多數(shù)人的共同認(rèn)識(shí)。

1936年(昭和11年)3月23日就任軍務(wù)局長(zhǎng)，全力平息二·二六事件帶來(lái)的影響。同年12月晉升為中將。1937年3月，被任命為第十師團(tuán)長(zhǎng)。77事變后出征華北，38年跟中國(guó)第五戰(zhàn)區(qū)司令長(zhǎng)官李宗仁指揮的國(guó)民革命軍在臺(tái)兒莊會(huì)戰(zhàn)，一度受挫。同年6月，接替東條英機(jī)成為日本關(guān)東軍參謀長(zhǎng)。

1939年5月，偽滿洲國(guó)軍隊(duì)跟蒙古軍隊(duì)在諾門(mén)坎發(fā)生小規(guī)模邊境沖突，后演化成為日本關(guān)東軍與蘇聯(lián)紅軍的正面對(duì)決。朱可夫指揮6個(gè)旅70,000名蘇聯(lián)遠(yuǎn)東軍，以機(jī)械化部隊(duì)擊敗兩個(gè)師團(tuán)約4萬(wàn)名日本關(guān)東軍。18,000名日軍戰(zhàn)死或受傷。日本全國(guó)震動(dòng)，平沼騏一郎內(nèi)閣請(qǐng)辭。關(guān)東軍司令官植田謙吉及參謀長(zhǎng)磯谷廉介被撤職，磯谷廉介轉(zhuǎn)預(yù)備役。

1941年12月 日軍偷襲珍珠港后向英，美宣戰(zhàn)。酒井隆指揮日軍進(jìn)攻英國(guó)殖民地香港。經(jīng)過(guò)18日的戰(zhàn)斗，香港總督楊慕琦在12月25日向日軍投降。外務(wù)大臣東鄉(xiāng)茂德看重他的才能，勸首相東條英機(jī)再度起用磯谷廉介，被任命為香港占領(lǐng)地總督，于1942年2月20日正式上任。1944年12月24日，磯谷廉介調(diào)任臺(tái)灣行政司長(zhǎng)，香港占領(lǐng)地總督一職改由田中久一接任。磯谷廉介占領(lǐng)香港期間，日軍從香港奪取各樣物資，包括強(qiáng)迫市民換取無(wú)保證的日本軍票。又實(shí)行日化教育，禁止使用英語(yǔ)，把香港街道及地名改為日本名；推行疏散政策，迫使香港居民遷回內(nèi)地。到1945年日本投降時(shí)，香港的居民人數(shù)降至70萬(wàn)，只及戰(zhàn)前的一半。

1946年，國(guó)民政府在南京軍事法庭判以戰(zhàn)爭(zhēng)罪審判磯谷廉介。1947年磯谷廉介被判無(wú)期徒刑，1949年從2月開(kāi)始在被關(guān)在巢鴨監(jiān)獄，1952年8月被假釋，1967年死在日本。