寶歷五年三月初七（1755年4月18日）出生，是紀州藩第7代藩主德川宗將的第六子，幼名金十郎。
安永四年（1775年），紀州藩藩主德川重倫（賴謙的兄長）隱居，由于重倫的長子彌之助早逝，次子巖千代（即后來的治寶）又年幼，因此以原西條藩藩主松平賴淳（賴謙的叔父）繼承紀州藩，西條藩則以賴謙作養(yǎng)嗣子繼承。
寬政七年（1795年）賴謙讓位給長子賴看并隱居，到文化三年九月初二（1806年10月13日）賴謙逝世，享年52歲。