民國29年(1940年)夏，二龍鄉(xiāng)建立了抗日民主政府，白之義任鄉(xiāng)民兵中隊長，經穆林、蘇楓(女)兩人介紹，加入中國共產黨。不久任二龍鄉(xiāng)農抗協會主任，兼鄉(xiāng)民兵大隊長。民國31年秋，上級指示，成立二龍鄉(xiāng)回民清真連，白之義任營教導員。次年，二龍成立回民自治區(qū)，白之義任區(qū)委書記。國民黨大隊長王華錦，經常出入于二龍鄉(xiāng)一帶抓丁、要糧，危害人民的生命財產。游擊隊大隊長沙大本把王華錦的爪牙王國輝抓捕，送到定遠縣政府住地——老尹董槍決。王國輝哥哥王國棟認為是白之義密告所害，懷恨在心，于民國34年11月13日，將白之義三哥白之仁夫婦及兒媳、孫子和弟弟白之武等5人暗殺。家中遭受如此慘案并沒有動搖白之義革命到底的決心，他率領清真連配合新四軍主力轉戰(zhàn)全椒、滁縣等地，參加周家崗、珠龍橋等戰(zhàn)斗10余次。

民國35年(1946年)4月，新四軍奉命北撤時，白之義率清真連隨軍轉移到泗縣洪澤湖一帶活動，途中與國民黨軍隊發(fā)生遭遇戰(zhàn)，白之義膝蓋骨中彈受傷，因無藥治療，感染犧牲。