黃祖蓮回國后，入天津水師學堂駕駛班，又入“威遠”練船見習，后調(diào)“濟遠”艦，“積勞敘千總”。1889年，升署北洋水師中軍左營守備，充“濟遠”艦駕駛二副。1892年12月，調(diào)充廣東水師“廣丙”艦幫帶大副。1894年5月，李鴻章奉旨到威海檢閱海軍，黃祖蓮指揮“廣丙”北上會操。論功以都司升用。校閱后，留威海。

　　黃祖蓮在海軍中雖年輕資淺，然熟讀戰(zhàn)史，頗具謀略，并以敢言見稱。1894年7月25日，日本挑起甲午戰(zhàn)爭，祖蓮憂慮國事，向提督丁汝昌獻策曰：“嚴兵扼守�？�，而以兵艦往搗之，攻其不備。否則載勁旅抵朝鮮東偏釜山鎮(zhèn)等處，深溝高壘，絕其歸路，分兵徇朝鮮諸郡邑，彼進則迎擊，彼退則尾追，又出偏師擾之。彼糧盡援竭，人無斗志，必土崩瓦解，此俄羅斯破法蘭西之計也”。當時，“鎮(zhèn)遠”管帶林泰曾也提出類似建議。但扼于朝廷的命令，丁汝昌無法采納黃祖蓮等的建議。

　　9月17日，北洋水師與日本聯(lián)合艦隊在黃海展開大戰(zhàn)。當時“廣丙”與“平遠”二艦在大東溝港口擔任警戒。中午12時50分戰(zhàn)斗打響后，“廣丙”、“平遠”便趕往戰(zhàn)場。午后1點，參加戰(zhàn)斗。下午2時40分，黃祖蓮指揮“廣丙”炮手配合“平遠”艦，擊中日本海軍軍令部部長乘坐的“西京丸”號，并引起火災，“福龍”魚雷艇乘機向“西京丸”發(fā)射魚雷，可惜都未命中，使“西京丸”僥幸逃脫。