1874年10月入陸軍教導團，1877年參加 西南戰(zhàn)爭，1879年2月1日初任陸軍少尉。

1882年被日軍參謀本部派遣至中國，化名鄭永昌，從煙臺出發(fā)，用了兩個月的時間。游歷了 山東半島、遼東半島和朝鮮半島西海岸。不僅仔細觀察了各地炮臺的駐防情況，所走洋面每距約一百公里，便用千斤砣試水深淺，詳細收集作戰(zhàn)所需地理水文數(shù)據(jù)，1886年回國任步兵第11聯(lián)隊大尉中隊長，參謀本部出仕，參謀本部第二局員，步兵第1聯(lián)隊附，清國公使館少佐附武官。在天津除了搞絕密情報外，還根據(jù)指令發(fā)回一些中國正積極備戰(zhàn)的假消息，激起日本國民的戰(zhàn)爭情緒。

1894年7月12日，日本內(nèi)閣以“中國在平壤集結(jié)大軍，欲與日本一戰(zhàn)”為由，向中國發(fā)出第二份絕交書。清政府被迫采取措施，16日軍機處和總理衙門召開聯(lián)席會議商議對策。神尾光臣在天津收買了清政府軍機處一位官員。通過這個官員，他輕而易舉地竊取到李鴻章擬定的作戰(zhàn)計劃，送達日本大本營。大本營向大島旅團下令，自漢城向南開進，以逸待勞阻擊清軍。這場戰(zhàn)斗的結(jié)果是清軍以失敗告終。甲午中日戰(zhàn)爭任第2軍情報主任參謀。參與制定日軍 金州半島登陸計劃及旅順作戰(zhàn)方案，戰(zhàn)后晉升中佐，清國公使館附武官。

1897年10月近衛(wèi)步兵第3聯(lián)隊長，參謀本部出仕，第1師團參謀長，第10師團參謀長。1902年5月5日晉升陸軍少將。任步兵第22旅團長。 日俄戰(zhàn)爭隨 乃木希典進攻旅大，任遼東守備軍參謀長，輔佐 西寬二郎大將，統(tǒng)轄5個后備步兵聯(lián)隊鎮(zhèn)守后路，大連軍政署長官，在訓令就說：“目前各軍在軍事上需要做好的工作雖然很多，但同時效力于疏導清國官民，勤于職守和生產(chǎn)也是當務之急。其中首要的任務應是教育事業(yè)”。旨在從精神上消滅中國人民的民族意識、民族文化、國家觀念和革命思想，使中國居民歸化于日本。后任大本營附。清國駐屯軍司令官，關東都督府參謀長，近衛(wèi)步兵第1旅團長，1908年12月 第九師團中將師團長，3年后轉(zhuǎn)任第18師團長，第一次世界大戰(zhàn)爆發(fā)后， 1914年8月，神尾光臣被任命為“青島攻城軍”司令官，他調(diào)動了以第十八師團為主力的陸軍5萬人，配備了數(shù)百門重型攻城重炮、山炮、野炮在內(nèi)的火炮和多架飛機，從陸地進攻青島率領18師團在海軍掩護下，攻占德國殖民地青島，斃俘4000德軍（ 日德戰(zhàn)爭）。任青島守備軍司令官，東京衛(wèi)戍總督。1916年6月24日晉升陸軍大將，7月14日封男爵，翌年8月6日編入預備役。

1925年4月退役，1927年2月6日去世。

曾獲一級 金鵄勛章。