1874年10月入陸軍教導(dǎo)團(tuán)，1877年參加 西南戰(zhàn)爭(zhēng)，1879年2月1日初任陸軍少尉。

1882年被日軍參謀本部派遣至中國(guó)，化名鄭永昌，從煙臺(tái)出發(fā)，用了兩個(gè)月的時(shí)間。游歷了 山東半島、遼東半島和朝鮮半島西海岸。不僅仔細(xì)觀察了各地炮臺(tái)的駐防情況，所走洋面每距約一百公里，便用千斤砣試水深淺，詳細(xì)收集作戰(zhàn)所需地理水文數(shù)據(jù)，1886年回國(guó)任步兵第11聯(lián)隊(duì)大尉中隊(duì)長(zhǎng)，參謀本部出仕，參謀本部第二局員，步兵第1聯(lián)隊(duì)附，清國(guó)公使館少佐附武官。在天津除了搞絕密情報(bào)外，還根據(jù)指令發(fā)回一些中國(guó)正積極備戰(zhàn)的假消息，激起日本國(guó)民的戰(zhàn)爭(zhēng)情緒。

1894年7月12日，日本內(nèi)閣以“中國(guó)在平壤集結(jié)大軍，欲與日本一戰(zhàn)”為由，向中國(guó)發(fā)出第二份絕交書。清政府被迫采取措施，16日軍機(jī)處和總理衙門召開(kāi)聯(lián)席會(huì)議商議對(duì)策。神尾光臣在天津收買了清政府軍機(jī)處一位官員。通過(guò)這個(gè)官員，他輕而易舉地竊取到李鴻章擬定的作戰(zhàn)計(jì)劃，送達(dá)日本大本營(yíng)。大本營(yíng)向大島旅團(tuán)下令，自漢城向南開(kāi)進(jìn)，以逸待勞阻擊清軍。這場(chǎng)戰(zhàn)斗的結(jié)果是清軍以失敗告終。甲午中日戰(zhàn)爭(zhēng)任第2軍情報(bào)主任參謀。參與制定日軍 金州半島登陸計(jì)劃及旅順作戰(zhàn)方案，戰(zhàn)后晉升中佐，清國(guó)公使館附武官。

1897年10月近衛(wèi)步兵第3聯(lián)隊(duì)長(zhǎng)，參謀本部出仕，第1師團(tuán)參謀長(zhǎng)，第10師團(tuán)參謀長(zhǎng)。1902年5月5日晉升陸軍少將。任步兵第22旅團(tuán)長(zhǎng)。 日俄戰(zhàn)爭(zhēng)隨 乃木希典進(jìn)攻旅大，任遼東守備軍參謀長(zhǎng)，輔佐 西寬二郎大將，統(tǒng)轄5個(gè)后備步兵聯(lián)隊(duì)鎮(zhèn)守后路，大連軍政署長(zhǎng)官，在訓(xùn)令就說(shuō)：“目前各軍在軍事上需要做好的工作雖然很多，但同時(shí)效力于疏導(dǎo)清國(guó)官民，勤于職守和生產(chǎn)也是當(dāng)務(wù)之急。其中首要的任務(wù)應(yīng)是教育事業(yè)”。旨在從精神上消滅中國(guó)人民的民族意識(shí)、民族文化、國(guó)家觀念和革命思想，使中國(guó)居民歸化于日本。后任大本營(yíng)附。清國(guó)駐屯軍司令官，關(guān)東都督府參謀長(zhǎng)，近衛(wèi)步兵第1旅團(tuán)長(zhǎng)，1908年12月 第九師團(tuán)中將師團(tuán)長(zhǎng)，3年后轉(zhuǎn)任第18師團(tuán)長(zhǎng)，第一次世界大戰(zhàn)爆發(fā)后， 1914年8月，神尾光臣被任命為“青島攻城軍”司令官，他調(diào)動(dòng)了以第十八師團(tuán)為主力的陸軍5萬(wàn)人，配備了數(shù)百門重型攻城重炮、山炮、野炮在內(nèi)的火炮和多架飛機(jī)，從陸地進(jìn)攻青島率領(lǐng)18師團(tuán)在海軍掩護(hù)下，攻占德國(guó)殖民地青島，斃俘4000德軍（ 日德戰(zhàn)爭(zhēng)）。任青島守備軍司令官，東京衛(wèi)戍總督。1916年6月24日晉升陸軍大將，7月14日封男爵，翌年8月6日編入預(yù)備役。

1925年4月退役，1927年2月6日去世。

曾獲一級(jí) 金鵄勛章。