南宋祥興二年（1279年），宋亡。趙若和為逃避元兵追拿，改姓為黃，在漳浦擇地建樓，終世隱居。明 洪武十八年（1385年），御史 朱鑒處理趙若和孫子黃明官同姓通婚案，查閱族譜后，奏報(bào)朝廷，恢復(fù) 趙姓。明隆慶五年（1571年），趙若和第10世孫 趙范任 浙東 按察司兵備道副使，衣錦還鄉(xiāng)后于萬(wàn)歷二十八年（1600年）重新擴(kuò)建趙家堡。萬(wàn)歷四十八年（1620年），趙范之子趙公瑞，考察 開封、 杭州宋代兩京建筑布局，擴(kuò)建外城，增加不少仿宋建筑和懷宋題刻。