承治4年（1180年）5月，以人王舉兵反抗平氏，得知消息的平氏一方派大軍進行鎮(zhèn)壓。此時佐貫廣綱以平氏一方足利忠綱的部下的身份，參加了此次討伐以人王、源賴政的軍事行動。但此后不久因不明原因，佐貫廣綱來到關東，臣服于源賴朝，做了鐮倉方的御家人。養(yǎng)和元年（1181年）7月20日，在鶴岡八幡宮大殿奠基儀式上，佐貫廣綱和源義經、畠山重忠一起接受了寶馬的賞賜。

元歷元年（1184年）2月佐貫廣綱配屬于源范賴麾下的關西平氏討伐軍，并參加了一之谷之戰(zhàn)。文治五年（1189年）9月參加了討伐奧州藤原氏的奧州之戰(zhàn)。建久元年(1190年）11月在源賴朝上京期間佐貫廣綱擔任沿途的供給工作。跟隨的名單上有佐貫廣綱的兄弟佐貫五郎、佐貫六郎廣義的名字。建久2年（1191年）3月鐮倉的小町大路發(fā)生火宅，佐貫廣綱的住宅被燒毀。同年潤十二月，在源賴朝去三浦義澄的新住宅訪問期間，佐貫廣綱和三浦義村、三浦景蓮共同進行了相撲表演。建久3年（1192年）11月，在修繕永福寺期間，佐貫廣綱和畠山重忠、大井實村共同搬起移動了池邊的一塊巨石，被源賴朝稱為大力士，因此受到表彰。