到了三木自綱的時代，三木自綱于永祿元年在天神山城外的高山上誅殺親叔久賴以承繼家督，之后聯(lián)合另一國人眾廣瀨氏攻滅天神山的高山氏、畑佐、中山、小鷹利等城，并討伐鍋山的鍋山氏，為了徹底將飛驒一國收入控制，姊小路賴綱以強硬手段將鍋山安室的親生兒子流放由弟弟顯綱成為鍋山安室的養(yǎng)子，旋即將養(yǎng)父安室毒殺并奪取鍋山家。統(tǒng)合南飛驒與中飛驒的廣瀨宗域、小島時光、北飛驒的江馬時盛并立。永祿五年，國司姊小路家絕嗣，三木自綱便開始在各種文獻(xiàn)上改名姊小路賴綱，以國司古河姊小路家之名借尸還魂，將自己一統(tǒng)飛驒的野心合理化。

但是姊小路賴綱的領(lǐng)土擴張也到此為止，東鄰武田、北鄰上杉，西邊和南邊則是織田信長的地盤，皆是姊小路家勢所不及的強國，當(dāng)時姊小路賴綱選擇與越后上杉家結(jié)盟，而北飛驒的另一勢力江馬氏則是依附武田家。永祿七年，江馬氏當(dāng)主江馬時盛擔(dān)當(dāng)武田軍的向?qū)б�領(lǐng)武田家臣山縣昌景、木曾義昌越過安房峠侵入飛驒。面對武田家的侵略，姊小路賴綱在初期擺出強硬姿態(tài)應(yīng)戰(zhàn)，在鳥越城陷落、千光寺被焚、盟友廣瀨氏亦內(nèi)通武田家后，方宣告投降并割讓三處寺領(lǐng)給江馬氏，讓武田家打通連結(jié)越中的道路，翌年武田信玄便以江馬氏為先鋒攻進(jìn)越中逼降原本臣服于上杉家的松倉城主椎名康胤。信長之野望13-姊小路賴綱

姊小路賴綱在表面上臣從武田信玄，但是實際上卻仍然維持自家的獨立活動權(quán)限，同時以是織田信長連襟的關(guān)系，上洛拜謁當(dāng)時稱雄近畿的織田信長以示臣服，得拜從三位中納言的官位，而且開通了雙方領(lǐng)地的商業(yè)通路，姊小路賴綱更藉由與織田家的貿(mào)易取得洋槍強化本家戰(zhàn)力。

與此同時，姊小路賴綱在飛驒的主要敵手江馬氏卻出現(xiàn)了內(nèi)亂，當(dāng)主時盛與嫡子輝盛不和，原因在于時盛和在武田家擔(dān)任人質(zhì)的三子信盛親近甲斐武田氏，而輝盛則是親上杉派，時盛有意讓以擔(dān)任信玄旗本屢立戰(zhàn)功的信盛繼承，使輝盛越發(fā)不滿。元龜三年，武田信玄病故于上洛途中，輝盛受到上杉方的煽動旋即在翌天正元年七月殺害父親時盛取當(dāng)主之位，并將三弟信盛追放。

在江馬氏家內(nèi)動蕩不安時，姊小路賴綱也默默增長自家實力，將三子基賴送為飛驒古川小島城主小島時光的養(yǎng)子，雙方締結(jié)同盟。天正四年，姊小路賴綱和江馬輝盛同應(yīng)上杉謙信之邀協(xié)助上杉家臣河田長親出兵越中，攻打松倉城椎名氏。在奪取鍋山家后姊小路賴綱就一直懷疑顯綱會倚鍋山家的兵力謀反，自姊小路賴綱拜謁信長回到三木城又因為嫡男信綱與顯綱內(nèi)通的流言疑神疑鬼起來，最后索性將顯綱以謀反叛變的罪名殺害，嫡男信綱亦以私通顯綱的罪嫌被害。姊小路賴綱完全平定大野郡。

天正六年，上杉謙信病故，發(fā)生爭奪繼承人的御館之亂，而武田家也在天正三年的長筱之戰(zhàn)敗給織田、德川聯(lián)軍后衰微，昔日對飛驒影響最大的上杉、武田，兩家勢力先后倒退，繼而代之的自然是威勢日益上升的織田信長，而姊小路賴綱也因為與織田信長早有盟交，亦附其驥尾在飛驒聲勢水漲船高，成功壓制江馬氏。天正七年，姊小路賴綱放棄了舊居城櫻洞城，另筑松倉城為本據(jù)。

天正十年，本能寺之變中信長身死，織田勢力陷入混亂，江馬輝盛決定趁機打倒姊小路賴綱，親率三千騎南下。姊小路賴綱協(xié)同盟友廣瀨宗域、小島時光以兩千兵力應(yīng)戰(zhàn)。姊小路賴綱認(rèn)為以較對方還少的兵力籠城守備乃是愚策，特別其中還有廣瀨宗域、小島時光的兵力并不是完全可靠，一旦陷入劣勢說不定就會倒戈，反而成為不定時的炸彈，于是選擇出城決戰(zhàn)，在大阪峠的出口荒城川沿岸挑釁江馬軍，江馬輝盛自認(rèn)在兵力上站優(yōu)勢遂揮軍直迫小島城下，兩軍在八日町交鋒，而姊小路賴綱也親自帶兵由廣瀨方面壓迫江馬軍，并運用洋槍隊伏擊江馬輝盛的主力部隊，江馬輝盛本人也在混戰(zhàn)中為洋槍射傷，被姊小路軍的牛丸親正討取，而小島時光也在后來攻打江馬家殘存勢力時在高原鄉(xiāng)戰(zhàn)死。

八日町合戰(zhàn)后，姊小路賴綱一躍為飛驒的最大勢力，翌年在邀廣瀨宗域至松倉城時將他謀殺，一舉把廣瀨氏的城池并吞，順利統(tǒng)一飛驒，構(gòu)筑出姊小路氏的全盛時期。

姊小路賴綱于天正十二年與越中的佐佐成政聯(lián)合欲對抗羽柴秀吉，但是卻被秀吉搶先一步于天正十三年命越前大野的金森長近進(jìn)攻飛驒，長近的兒子可重率領(lǐng)三千八百多人以廣瀨宗域嫡子宗直、江馬輝盛之子時政為前導(dǎo)由越前大野經(jīng)過白川鄉(xiāng)，包圍田中城攻打姊小路家，最后，姊小路賴綱戰(zhàn)敗投降，次子秀綱被殺，姊小路賴綱的晚年都在京都過著隱居的生活，姊小路賴綱于天正十五年在京都病故，賴綱的三子近綱在大阪之戰(zhàn)中效力于水野清忠的麾下，領(lǐng)知行五百石，后來又增加二百石共計七百石，以德川家旗本的身份延續(xù)著家族血脈。