1874年，馬玉昆與左宗棠部共同抗擊阿古柏和沙俄對新疆的侵略，此后率軍駐防西北10余年。光緒年間調(diào)駐直隸。1894年補(bǔ)授山西太原鎮(zhèn)總兵，協(xié)助宋慶駐防旅順口北洋海軍基地。同年中日甲午戰(zhàn)爭爆發(fā)，他于8月4日率毅軍6個營赴朝鮮，守平壤南門外大同江東岸。15日凌晨，與日軍第九旅團(tuán)激戰(zhàn)。因馬玉昆布防嚴(yán)密，指揮有方，殲敵近3個中隊，擊斃日軍140人，擊傷290多人，取得平壤南路保衛(wèi)戰(zhàn)的勝利。后因葉志超怯弱畏敵逃跑，平壤失守。平壤失守后，他率軍退回國內(nèi)，協(xié)助宋慶防守鴨綠江防線，10月25日虎山戰(zhàn)役打響，他率部馳援，奮勇殺敵。

1894年11月初，金州、旅順告急，清廷調(diào)宋慶西進(jìn)援戰(zhàn)金、旅，馬玉昆同宋慶增援金州。他勇敢善戰(zhàn)，作戰(zhàn)總是身先士卒，沖殺在前。11月21日，清軍反攻金州的戰(zhàn)斗打響后，他率領(lǐng)四營毅軍一直逼近龍王廟張家屯一帶，與防守在龍王廟西山頭上的日軍展開激戰(zhàn)。雙方從早上接戰(zhàn)一直打到午后2時，毅軍子彈如雨射向敵陣地，使得日軍一時抬不起頭來。日軍見他的部隊攻勢猛烈，便從城里抽調(diào)兵力支援，才勉強(qiáng)守住陣地。戰(zhàn)斗到天黑，因黑天無法再戰(zhàn)，暫時收兵退回四十里堡宿營。在這次反擊戰(zhàn)中，他率軍共斃敵50多人。由于他的銘軍疲勞至極，加之沒有攜帶火炮，因此傷亡較大。激戰(zhàn)中，他所部右軍左營營官總兵銜兩江補(bǔ)用副將劉錦發(fā)、銘右軍正營都司銜補(bǔ)用守備周文德、洋炮營哨長守備千總朱太成、右軍前營后哨哨官把總劉金德、右軍正營哨長拔補(bǔ)外委劉世科、差官都司完備衛(wèi)舉烈、守備千總衛(wèi)木禮等先后在戰(zhàn)斗中中彈犧牲。

第二天，清軍準(zhǔn)備再次反攻金州時，從旅順撤退下來的徐邦道、張光前等人的軍隊已退到四十里堡，于是旅順失守的消息傳到軍營中。宋慶見到徐、張后，知道金州難以奪回，又擔(dān)心岫巖方面的日軍趕來截斷后路，為了保存力量，決定退兵。11月23日，馬玉昆率軍隨宋慶向蓋平方向退去，金州反擊戰(zhàn)結(jié)束。

1895年2月24日，在反擊海城的太平山戰(zhàn)斗中，馬玉昆率部防守北山的七里溝等村莊，爬冰臥雪，督隊力戰(zhàn)。日軍三面進(jìn)攻，架設(shè)數(shù)十門大炮連續(xù)轟擊清軍，激戰(zhàn)一天，清軍沒有后援，彈盡糧絕，陷入重圍之中，宋慶下令突圍。馬玉昆闖出重圍，發(fā)現(xiàn)宋慶仍在包圍之中，又殺進(jìn)敵人包圍圈救出宋慶，宋慶三易戰(zhàn)馬，均被炮彈擊斃。馬玉昆帶領(lǐng)部下多次沖破重圍，3次更換坐騎，擊斃日軍300多人，擊傷千余人。后隨宋慶轉(zhuǎn)戰(zhàn)于營口、田莊臺等地。由于他作戰(zhàn)勇敢，屢建奇功，日軍也懼怕他三分。

1895年末，日本迫于俄、法、德三國的干涉，將遼東半島歸還中國，日軍撤出旅大。翌年1月，宋慶命馬玉昆率毅軍十營駐扎大連灣。1898年，因沙俄租占旅大，毅軍駐防山海關(guān)。1899年，馬玉昆攫升為浙江提督，后調(diào)直隸。1900年八國聯(lián)軍入侵，他奉命率武衛(wèi)左軍迎戰(zhàn)于天津、北倉，皆不利。后護(hù)送慈禧和光緒逃往西安。1901年還京，加太子少保銜。1908年去世