1564年，父親時忠背叛里見氏從屬于 北條氏康的時候，作為人質(zhì)被送往 小田原城。因為哥哥正木時通1575年突然死去，翌年父親也死去遂繼承 家督，本處在勝浦城。此后，擁立 里見義賴，成功擊滅正木憲時掌握了里見家的實權(quán)�？墒�，1590年 后北條氏滅亡 德川家康被移封關(guān)東，里見氏丟失 上總國領(lǐng)地，賴忠跟隨前往 安房國。

在賴忠的4個孩子里，女兒的於萬成為德川家康的 側(cè)室生了 德川賴宣和 德川賴房。依靠兒子 正木為春成為賴宣的 家老的緣故，賴忠移到 紀(jì)伊渡過了余生。同時，另一個兒子乳名菊松，成為糟谷的養(yǎng)子名糟屋軍次郎。剛?cè)ジ赣H的勝浦城就被卷進梅王丸的叛亂，憲時攻擊勝浦城的時候，賴忠讓菊松逃出，跑到河津的母親處，自名正木織部，迎娶了清水小太郎的女人。 豐臣秀吉進攻小田原城的時候，蔭山氏廣與母親帶萬逃跑承繼北條屋敷回鄉(xiāng)務(wù)農(nóng)。還有一個兒子成為 旗本。