西鄉(xiāng)賴母的祖先是 室町時代的 三河國的仁木氏，松平家（德川家）勢力擴大后臣服于松平家。 江戶幕府建立之后，西鄉(xiāng)家歷代當(dāng)主擔(dān)任 會津藩 家老達200年之久，傳至西鄉(xiāng)賴母已是第九代。

西鄉(xiāng)賴母于1860年（ 萬延元年）繼任西鄉(xiāng)家家督并擔(dān)任會津藩的家老，俸祿1700石。1862年（ 文久2年），江戶幕府邀請藩主 松平容保擔(dān)任 京都守護職，西鄉(xiāng)賴母認(rèn)為政局動蕩，勸松平容保不要答應(yīng)，遭到松平容保的憤怒拒絕。 禁門之變發(fā)生之后，西鄉(xiāng)賴母前往 京都，勸說松平容保回藩，結(jié)果被罷免了家老一職 蟄居。

1868年（ 明治元年）， 戊辰戰(zhàn)爭爆發(fā)，松平容�；謴�(fù)了他家老一職。在 會津戰(zhàn)爭中，最初他主張對新政府持恭順態(tài)度，但得知 長州藩、 薩摩藩提出斬容保親子前來投降的要求后轉(zhuǎn)為強硬態(tài)度。西鄉(xiāng)賴母據(jù)守 白河城抗擊新政府軍，但被由伊地知正治所率的薩摩兵擊敗，城池失陷（ 白河口之戰(zhàn)）。此后他一度試圖奪還白河城，皆失敗，轉(zhuǎn)為借助峽谷地形進行防御。

新政府軍兵臨藩主的居城 若松城下，西鄉(xiāng)賴母再主和議，但 藩士皆主張頑抗到底。若松城降服后，其母親、妻子以及大部分子女自殺了，西鄉(xiāng)賴母逃往箱館，投奔 槺疚溲鎩?土方歲三等所建立的 蝦夷共和國。蝦夷共和國在 箱館戰(zhàn)爭中戰(zhàn)敗滅亡，西鄉(xiāng)賴母被逮捕，關(guān)押于 館林藩。

1870年改名�？瀑嚹浮�1872年獲得赦免，在 伊豆開設(shè) 私塾。此后擔(dān)任 九州島都都古別神社 宮司的職務(wù)，但在 西南戰(zhàn)爭期間由于曾經(jīng)與 西鄉(xiāng)隆盛關(guān)系密切而被免職。1887年參加了大同團結(jié)運動。1889年擔(dān)任靈山神社的宮司，在此期間將祖?zhèn)鞯?大東流合氣柔術(shù)傳給了 武田惣角。1899年辭職返回鄉(xiāng)里，1903年死去。葬于會津的善龍寺。著有《棲云記》。

西鄉(xiāng)賴母以其大多數(shù)家族成員為江戶幕府殉難而被當(dāng)作悲劇人物介紹。此外，講道館四天王之一的西鄉(xiāng)四郎是他的養(yǎng)子。