兵庫縣出身，舊筱山藩士磯谷次郎的三男。私立庹平初中鳳鳴義私塾，大阪陸軍地方幼年學(xué)校，中央幼年學(xué)校。1904年畢業(yè)于日本陸軍士官學(xué)校第16期，跟坂垣征四郎，土肥原賢二為同期同學(xué)。1915年陸軍大學(xué)畢業(yè)。1916年任職于參謀本部，1917年被派遣到中國，1920年駐在廣州。1924年升任中佐，步兵第13聯(lián)隊(duì)大隊(duì)長，1928年5月第六師團(tuán)副、第3師司令部付(青島機(jī)關(guān)長)，同年8月，步兵大佐第7聯(lián)隊(duì)長。1930年(昭和5年)3月，第1師參謀長就任，教育總監(jiān)部第2科長，人事局候補(bǔ)課長。1933年晉升為少將，任參謀本部第二部長。自認(rèn)是日軍中的「支那通」。他的岳父就是日本第一代中國通，對華諜報鼻祖青木宣純。1935年任中國公使館副武官、中國大使館副武官。

磯谷一生都專注于長江以南的政治、軍事，即關(guān)注孫中山和其系統(tǒng)的動向。在陸軍中國通中分為北支派和南支派，北支派主要重視以北京為中心的北支、滿洲，而南支派是關(guān)注國民黨和中國共產(chǎn)黨的人，主要注意蔣介石的動向。因此兩者存在很大的不同，而且在這對以后日本陸軍制定對華政策產(chǎn)生了很大的影響。在陸軍領(lǐng)導(dǎo)層分為歐洲大陸派、英美派、俄國派、中國派四派，相互之間充滿著矛盾和爭斗。這也是導(dǎo)致日本對華政策不斷發(fā)生變化的原因之一�！胺Q為中國通的軍人也必須分開來看，不能一概而論。作為軍人，詳細(xì)調(diào)查、分析中國的國政、國防、軍事力量、民情，報告給上司參謀本部，以備戰(zhàn)爭，具有這樣共同的任務(wù)。但對中國的關(guān)心的方法、理解的方法卻有很大的不同�！� 日本自明治維新以后，隨著富國強(qiáng)兵政策的實(shí)施，也開始了其大陸經(jīng)營。其首要目標(biāo)就是朝鮮和中國。為此，日本陸軍部早在1870年代就不斷派遣陸軍人員到中國，偵查中國的國情和搜集中國的情報，1874年出兵臺灣后經(jīng)過日中談判，臨時派遣被中止，開始設(shè)置駐清國公使館武官。而磯谷也是在這樣的環(huán)境下開始對中國感興趣的，在陸軍士官學(xué)校畢業(yè)之際，他說：“我學(xué)校的成績都可以，總之希望去支那，不想進(jìn)陸大�！�

盡管佐佐木到一在其所著的《一個軍人的自傳》中，孫中山自稱大元帥，而廣東人卻稱他為“孫大炮”，但磯谷卻不如此認(rèn)為。他對孫中山持有全部敬愛之心，視孫中山為老師。1908年由于軍部的命令，磯谷廉介首次在上海訪問孫中山。磯谷按照和岡村寧次的約定，開始走向支那通之路，但他比岡村提前一步在中國接觸到孫中山。和孫中山會見后，對中國更加關(guān)心的磯谷在1911年辛亥革命爆發(fā)后，決定在孫中山手下工作。由于磯谷對孫中山懷有敬意，認(rèn)為孫中山是為中國國民獻(xiàn)身，而蔣介石是為自身和宋家的利益接近英美，共同采取抗日、排滿政策。這造成“磯谷一生都沒有從心里信賴蔣介石”�！霸谥袊�軍閥和有力者中，與自己國民的將來相比，將自己、自已的一族或支持自己的人的利益放在第一位的人多。很多軍人沒有充分理解那樣的風(fēng)氣。”

1935年11月8日，在國民政府發(fā)布幣制改革公告四天后，駐中國大使館武官磯谷發(fā)表如下關(guān)于幣制改革的武官聲明。作為派出軍部，斷然反對國民政府此次的幣制改革。這是因?yàn)閹胖聘母飳?shí)際上只能給支那四億民眾帶來毀滅。

對于磯谷武官的強(qiáng)硬聲明，日本陸軍中央部也認(rèn)為：“白銀國有令必然歸于失敗，白銀國有給中國民眾帶來不幸，特別是依賴英國的援助乃賣國”，非正式地表示贊同。磯谷之所以反對幣制改革，是因?yàn)樗�認(rèn)為幣制改革是英美兩國打入中日兩國之間的一個鍥子，國民黨政府實(shí)施幣制改革可能會得到英美兩國的大力支持，這樣必然會擴(kuò)大英美對中國的影響力，削弱日本對中國的影響。正是從這個層面上，磯谷反對幣制改革。正如半年后他又承認(rèn)幣制改革取得很大成效一樣，說明他此時并不是反對幣制改革本身，而是反對在英美的幫助下所進(jìn)行的改革。說到底，這是反對英美擴(kuò)大在中國的影響力，避免給日本的侵略活動帶來困難。

1936年磯谷廉介回國之際，表達(dá)了他對關(guān)東軍的對支政策和蔣介石的看法。他認(rèn)為：“日本的對支政策沒有看到辛亥革命以來中國新的前進(jìn)方向、民族自然發(fā)展的進(jìn)步，沿襲對古代支那、軍閥割據(jù)時代的支那認(rèn)識，正面否認(rèn)蔣介石所代表的統(tǒng)一國家的進(jìn)展，依舊從事分治工作。”“由于陸軍內(nèi)部的大部分支那通對支那認(rèn)識的先入觀念很強(qiáng)，看不到中國正在前進(jìn)的大勢，最終迫使蔣陷入不得不親蘇容共的困境。”當(dāng)時，陸軍中的中國通認(rèn)為蔣沒有統(tǒng)一中國的力量，由于中國是相當(dāng)廣闊且異質(zhì)的國家，分治工作自然行得通，至少有必要在北支使其分離成立親日滿政權(quán)。這種可能的錯誤的對中國的形勢是陸軍普通的想法。

盡管磯谷警告不要用武力推動對中國的政策，但是，陸軍中央部的大部分人和政府、財界等人的中國政策、中國觀沒有按照磯谷所說的那樣改正。1935年12月，也沒有從關(guān)東軍向中央提出的意見書《關(guān)于北支問題》的位置上后退一步。1936年中國發(fā)生震驚中外的“西安事變”，蔣介石遭到軟禁。對此，磯谷也非常關(guān)注，但對蔣介石卻給與嘲笑。這“不是沒有認(rèn)識到西安事變事態(tài)的重要性，即便討厭蔣介石，對蔣介石的性格行動、政治性進(jìn)行充分研究的磯谷為其祝福掩藏著很深的意義�！�

1938年6月磯谷廉介被任命為關(guān)東軍參謀長，成為陸軍中具有重要影響力的人物。由于和孫文、廖仲愷、汪精衛(wèi)、許崇智、王克敏以及蔣介石等中國人有很深的交往，磯谷的中國觀在日本軍人當(dāng)中顯得比較特別。他認(rèn)為日本不應(yīng)該侵略中國，即使暫時不得已侵略，也要盡快以和平為要。而副參謀長石原莞爾卻與此相反。石原認(rèn)為中國終究不能夠統(tǒng)一，而且滿洲也純?nèi)徊皇侵袊�的領(lǐng)土，乃滿族之地。這種認(rèn)識不僅是石原，也是日本陸軍、政府和財界等多數(shù)人的共同認(rèn)識。

1936年(昭和11年)3月23日就任軍務(wù)局長，全力平息二·二六事件帶來的影響。同年12月晉升為中將。1937年3月，被任命為第十師團(tuán)長。77事變后出征華北，38年跟中國第五戰(zhàn)區(qū)司令長官李宗仁指揮的國民革命軍在臺兒莊會戰(zhàn)，一度受挫。同年6月，接替東條英機(jī)成為日本關(guān)東軍參謀長。

1939年5月，偽滿洲國軍隊(duì)跟蒙古軍隊(duì)在諾門坎發(fā)生小規(guī)模邊境沖突，后演化成為日本關(guān)東軍與蘇聯(lián)紅軍的正面對決。朱可夫指揮6個旅70,000名蘇聯(lián)遠(yuǎn)東軍，以機(jī)械化部隊(duì)擊敗兩個師團(tuán)約4萬名日本關(guān)東軍。18,000名日軍戰(zhàn)死或受傷。日本全國震動，平沼騏一郎內(nèi)閣請辭。關(guān)東軍司令官植田謙吉及參謀長磯谷廉介被撤職，磯谷廉介轉(zhuǎn)預(yù)備役。

1941年12月 日軍偷襲珍珠港后向英，美宣戰(zhàn)。酒井隆指揮日軍進(jìn)攻英國殖民地香港。經(jīng)過18日的戰(zhàn)斗，香港總督楊慕琦在12月25日向日軍投降。外務(wù)大臣東鄉(xiāng)茂德看重他的才能，勸首相東條英機(jī)再度起用磯谷廉介，被任命為香港占領(lǐng)地總督，于1942年2月20日正式上任。1944年12月24日，磯谷廉介調(diào)任臺灣行政司長，香港占領(lǐng)地總督一職改由田中久一接任。磯谷廉介占領(lǐng)香港期間，日軍從香港奪取各樣物資，包括強(qiáng)迫市民換取無保證的日本軍票。又實(shí)行日化教育，禁止使用英語，把香港街道及地名改為日本名；推行疏散政策，迫使香港居民遷回內(nèi)地。到1945年日本投降時，香港的居民人數(shù)降至70萬，只及戰(zhàn)前的一半。

1946年，國民政府在南京軍事法庭判以戰(zhàn)爭罪審判磯谷廉介。1947年磯谷廉介被判無期徒刑，1949年從2月開始在被關(guān)在巢鴨監(jiān)獄，1952年8月被假釋，1967年死在日本。