茨城縣人。柴山定次郎的三子。1912年5月 日本陸軍士官學(xué)校24期畢業(yè)，輜重兵少尉任官，1922年11月陸軍大學(xué)畢業(yè)34期畢業(yè)。1923年6月成為輜重兵第14大隊(duì)中隊(duì)長， 參謀本部支那研究員。1928年，任 張學(xué)良的顧問助理，專事侵略東北的活動(dòng)。1931年11月回到 參謀本部，歷任支那公使館中佐武官駐北平， 馮玉祥組織 抗日同盟軍收復(fù) 多倫的時(shí)候， 柴山兼四郎首先向 馮玉祥發(fā)出抗議。老馮自然是沒理他。柴山見沒有效果，就直接去找坐鎮(zhèn)北平的軍政部長 何應(yīng)欽，說中國軍隊(duì)出兵多倫的舉動(dòng)，明顯違反了 塘沽協(xié)定中有關(guān)中日雙方停戰(zhàn)的精神�？商凉羺f(xié)定說的是中日兩國，同盟軍打的是滿蒙偽軍，跟小日本有什么關(guān)系？怎么沒有關(guān)系，柴山振振有詞，打狗還要看主人，偽軍就是我們家的狗，那是你們想打就打的嗎。何應(yīng)欽分辯說，同盟軍的成立并未得到過北平軍分會的允許，因此他們在察北的軍事行動(dòng)，我們也很難管得了。柴山一聽十分惱火，當(dāng)即拋下一句硬邦邦的話，說如果你們真的管不了，我們 關(guān)東軍可以過來幫你們一道管。這話讓何應(yīng)欽出了一身冷汗�！�—人家 武藤信義在簽完協(xié)定后可是發(fā)過聲明，說如果中國確實(shí)遵守這個(gè)協(xié)定，關(guān)東軍馬上撤回長城線，否則的話，那是要“斷然膺懲”的。此時(shí)，無論是為了“政令統(tǒng)一”，還是實(shí)施“中央防邊計(jì)劃”，蔣介石和何應(yīng)欽都不能夠容許 抗日同盟軍再繼續(xù)存在下去。因?yàn)榻g殺抗日同盟軍這個(gè)功績，他再次進(jìn)入 參謀本部，保送歐美留學(xué)，踏上了上升的快速通道。歷任輜重兵第18大隊(duì)長等，1936年3月晉升輜重兵大佐， 陸軍省軍務(wù)課長。這對于輜重兵出身的簡直是一個(gè)特列，日本人不重視輜重兵是出名的，有句話說輜重兵都算兵的話，那蜻蜓都能算老鷹。 七七事變的時(shí)候，他雖然是陸軍次官 梅津美治郎的親信，但卻是不擴(kuò)大派的。當(dāng)他去向支那屯駐軍司令 香月清司傳達(dá)不擴(kuò)大的方針時(shí)，被香月以軍令和軍政矛盾而拒絕。1938年2月，由于天津特務(wù)機(jī)關(guān)長 儀我誠也病故，他轉(zhuǎn)任天津特務(wù)機(jī)關(guān)長、主要執(zhí)行對 吳佩孚工作。39年4月晉升少將，9月出任漢口特務(wù)機(jī)關(guān)長、他的竹機(jī)關(guān)和上海 影佐禎昭的梅機(jī)關(guān)， 和知鷹二的蘭機(jī)關(guān)，設(shè)在福建的菊機(jī)關(guān)并稱。執(zhí)行11軍司令 岡村寧次分化瓦解中國軍隊(duì)的政策，重點(diǎn)對中國第五戰(zhàn)區(qū)的 川軍分化，但沒有多大效果。1940年9月回國，歷任輜重兵監(jiān)部副，陸軍輜重兵學(xué)校校長等，1941年10月升任陸軍中將輜重兵監(jiān)。1942年4月成為駐 大同的第26師團(tuán)長。1943年4月任 汪精衛(wèi)政權(quán)最高軍事顧問，他手下的 憲兵隊(duì)長岡村少佐毒死了不聽話的76號特工頭子 李士群。1944年8月任陸軍次官，執(zhí)行 小磯國昭所謂對等的對華和平活動(dòng)，9月中旬親自飛抵南京，向汪偽政府要員 陳公博、 周佛海等傳達(dá)日本政府的決策。柴山表示：“日政府雖明知形勢不利，時(shí)機(jī)不順，不易成功，但仍盼積極進(jìn)行全面和平合作”，但此次“謀和”由汪偽政府出面進(jìn)行，“且不可使外間知系日方所發(fā)動(dòng)”；日方實(shí)行“全面和平”的條件是：1.純以平等立場講和；2.如美國撤退在渝空軍，日即全部撤兵；3.渝與英美之關(guān)系，尊重渝方意見決定；4.關(guān)于保證問題，俟確知渝方意見后決定；5.關(guān)于寧渝汪蔣問題，乃中國內(nèi)政問題，由雙方商辦等。為了保證“謀和”的順利進(jìn)行，柴山還特別說明該項(xiàng)工作“由首相和外相聯(lián)系，一切要南京政府采取措施，不讓當(dāng)?shù)剀姺礁深A(yù)”。但全無結(jié)果。1945年5月，兼 大本營兵站總監(jiān)。戰(zhàn)敗后被指控為戰(zhàn)犯，判處7年徒刑。1951年獲假釋，1953年任軍人恩給全國聯(lián)合會會長。