由于老父輾轉(zhuǎn)病榻，便退官服侍膝下，待父親去世以后，他因幾位庶出弟弟趙家蕃、趙家蓀、趙家藝等尚屬年幼，需要長兄扶持，就決意棄絕仕進，定居于寧波。趙家蕃、趙家蓀、趙家藝后來都非常有名，是辛亥革命的有功之臣。

會館是各郡縣在北京自行建設(shè)的“招待所”，目的是滿足本縣舉人參加會試（錄取者為進士）時住宿和會文的需要。也正是鑒于在北京尋找旅館不易的遭遇，慈溪舉人楊泰亨、趙家薰、洪九章等在同治七年（1868）自掏腰包，創(chuàng)“公車捐銀購置會館”（“公車”即是舉人）的先例。他們籌錢購置了京城舊宅并加以修繕整治，得大小28個房間，建起了慈溪會館。