蘇茂元出身于貧寒農(nóng)家，又自幼愛好武功，他家住山區(qū)，出門上路就是崇山峻嶺，常翻山越嶺，去給人家當(dāng)雇工。他利用爬山上坳之機(jī)，給人勞作之便，不斷訓(xùn)練自身武功。在去蘆溪縣南坑鎮(zhèn)乾村本家的山路傍，有荷樹一棵，他過往時，總要將樹干推拉一番，或擊幾拳練手勁，天長日久，荷樹干長成一個凹，荷樹皮剝落半圈。他給人做工用牛耕田后，把牛喝下水，雙手抓牛角，擺動牛體給牛洗澡。收稻時，他用雙手提起一擔(dān)稻谷，走上五六里路。祠堂建筑中常用的石柱，要多人才能搬動，他只手可搬石柱，時人無不為之驚嘆。他曾與武術(shù)師李德和一道游走粵、桂，成為名噪江湖的武術(shù)師。