馬玉昆家世代務(wù)農(nóng)，家境貧寒。年輕時(shí)遷居雉河集（今渦陽(yáng)縣城），因身體高大，性強(qiáng)悍，少年尚武，臂力過(guò)人，又好賭躲債，曾被亳州蔣氏大戶收為家丁。后往河南汝寧（今汝南縣），投淮軍所屬的毅軍營(yíng)當(dāng)兵。當(dāng)時(shí)，毅軍正在汝寧、南陽(yáng)、鄧州（今鄧縣）一帶鎮(zhèn)壓捻軍。因馬玉昆作戰(zhàn)強(qiáng)悍，在攻占仁山寨戰(zhàn)斗中立有“戰(zhàn)功”，受賞千總，戴藍(lán)翎，并升任毅軍統(tǒng)帥宋慶的親軍馬隊(duì)營(yíng)官，為宋慶所賞識(shí)。

同治六年（1867 年），毅軍調(diào)防山東東平州（今東平縣），攻打張宗禹所率的西捻軍，馬玉昆舍命在前。隨后，又在淮路口堵截捻軍賴(lài)文光部。同年春天，馬玉昆在山東濟(jì)陽(yáng)率領(lǐng)便衣，乘黑夜?jié)撊肽頎I(yíng)，內(nèi)外夾攻，大敗捻軍。六月，馬玉昆率部又在荏平圍困捻軍。不久，清廷將馬玉昆提拔為副將，以總兵記名，并賞給“振勇巴圖魯”稱(chēng)號(hào)。

同治年間，西北回亂爆發(fā)，陜甘總督左宗棠統(tǒng)兵前往，清廷調(diào)宋慶毅軍從陜北榆林一帶堵截陜甘回民軍隊(duì)。

1870年（同治九年），久攻回民據(jù)點(diǎn)金雞堡不下，調(diào)馬玉昆部參戰(zhàn)破堡，擊斃回軍首領(lǐng)相文治壯。論功授馬玉昆提督銜，賞“博奇巴圖”稱(chēng)號(hào)。左宗棠平定陜甘回亂后，又出嘉峪關(guān)鎮(zhèn)壓新疆回民軍，清廷派宋慶任哈密剿匪會(huì)辦。馬玉昆奉宋慶派遣，隨左宗棠、金順出關(guān)入疆，得到器重。馬玉昆參加平定烏魯木齊、昌吉、瑪納斯等城，生擒回民首領(lǐng)黑瞎子，驅(qū)逐白顏虎逃入俄境。平定新疆以后，馬玉昆又參加屯墾，先后駐守新疆達(dá)10年之久。清廷因馬玉昆立有功勞，賞穿黃馬褂，賜騎都尉世職。

1890年（光緒十六年），李鴻章調(diào)馬玉昆任北洋軍隨辦營(yíng)務(wù)兼毅軍后軍，駐守旅順。1891年（光緒十七年），清政府授馬玉昆山西太原鎮(zhèn)總兵。

1894年（光緒二十年）7月，中日甲午戰(zhàn)爭(zhēng)爆發(fā)，日本借口朝鮮內(nèi)戰(zhàn)，出兵入侵，朝鮮王室向清政府求援，清政府命馬玉昆率毅軍6營(yíng)2000人前赴朝鮮，8月4日入平壤。與馬玉昆部同時(shí)入朝者還有左寶貴奉軍、 衛(wèi)汝貴盛軍及豐升阿奉天練軍盛字營(yíng)等，共計(jì)29營(yíng)，14000余人。清政府命 葉志超為駐平壤各軍總統(tǒng)。

9月15日，日軍分四路圍攻平壤。馬玉昆率毅軍分守平壤東門(mén)及 大同江左岸防線。15日凌晨，日軍第九旅團(tuán)分左、中、右三路進(jìn)犯大同江左岸毅軍陣地，馬玉昆指揮所部奮勇抗擊。日軍進(jìn)攻部隊(duì)被阻于陣地外開(kāi)闊地面，毫無(wú)掩蔽，傷亡慘重。日軍官不顧士兵死活，驅(qū)趕士兵拚死沖擊，清軍以猛烈炮火還擊，日軍“死傷甚多，如第十一聯(lián)隊(duì)第一中隊(duì)將校悉數(shù)戰(zhàn)死或負(fù)傷，第二十一聯(lián)隊(duì)第一大隊(duì)第二、第四中隊(duì)，其士官亦皆戰(zhàn)死”。馬玉昆指揮清軍乘勢(shì)由堡壘沖出，向日軍發(fā)起反沖鋒，展開(kāi)白刃格斗。進(jìn)攻平壤南路的日軍第九旅團(tuán)，在馬玉昆指揮的毅軍抗擊下，遭受“將校以下死者約140名，傷者290名”的重大傷亡后，狼狽退出戰(zhàn)場(chǎng)，清軍取得保衛(wèi)戰(zhàn)的輝煌勝利。

但不幸，這時(shí)平壤 玄武門(mén)被日軍攻陷， 奉軍統(tǒng)領(lǐng) 左寶貴力戰(zhàn)犧牲。貪生怕死的 葉志超急令撤退。當(dāng)夜9時(shí)，葉志超率軍由平壤倉(cāng)皇潰退。一路被日軍埋伏邀截，“人馬騰 相蹂死者2000余人”，被俘500余人，傷者無(wú)算。葉志超率敗兵狂奔500里，逃入中國(guó)境內(nèi)。這樣，馬玉昆率部英勇奮戰(zhàn)所取得的勝利，被畏縮怯懦的主將葉志超白白葬送了。

馬玉昆率軍退回國(guó)內(nèi)后，10月，從毅軍統(tǒng)領(lǐng) 宋慶防守 鴨綠江下游 九連城防線。25日，日軍由朝鮮義州越江來(lái)攻，首先進(jìn)攻 聶士成、 馬金敘防守的 虎山陣地。在戰(zhàn)斗危急時(shí)刻，馬玉昆率部出援，奮勇殺敵。但由于守九連城的銘軍 劉盛休部，不戰(zhàn)而潰，清軍防線全線瓦解。馬玉昆隨宋慶退走鳳凰城。30日，鳳凰城又失，復(fù)退保 摩天嶺。

當(dāng)時(shí)由遼東半島花園口登陸的日本第二軍入寇金旅，旅順危急。清廷調(diào)毅軍回援。馬玉昆又從宋慶回軍西進(jìn)，先后與日軍戰(zhàn)于金州、海城附近之馬圈子、感王寨。失敗后，隨宋慶退守田莊臺(tái)。

1895（光緒二十一年）年2月下旬，清軍數(shù)路聯(lián)合反攻被日軍占領(lǐng)的海城。24日，馬玉昆、 宋慶、 徐邦道與日軍戰(zhàn)于大石橋附近的 大平山。馬玉昆率部防守山北之東、西七里溝急附近村落，奮力抵抗。并馳驅(qū)于冰雪間，督隊(duì)力戰(zhàn)。坐馬中炮斃，重新易騎，繼續(xù)督戰(zhàn)。在戰(zhàn)斗中，“馬玉昆被圍垓心，率其親兵闖出重圍，因見(jiàn)我兵尚在圍內(nèi)，重復(fù)殺入，沖開(kāi)一路，護(hù)之而出，其親兵百人兩次沖殺，僅剩二十余人，戰(zhàn)馬三易，均被炮斃”。大平山之戰(zhàn)是甲午中日戰(zhàn)爭(zhēng)的一次激烈戰(zhàn)斗，雙方傷亡慘重，日軍除在戰(zhàn)場(chǎng)上傷亡300余名外，并有大量士兵被凍傷，全軍達(dá)千人以上。清軍傷亡亦多，據(jù)宋慶所撰《大清敕建錦州毅軍昭忠祠碑文》記載，毅軍“死于大平山者四百二十四人”。

大平山失守后，馬玉昆隨宋慶退往營(yíng)口，3月9日與日軍戰(zhàn)于田莊臺(tái)。馬玉昆分守田莊臺(tái)東北曹家灣子，雖奮勇抵抗，但由于主將宋慶指揮失誤，被日軍分路包圍截殺而失敗。從此清軍在遼南戰(zhàn)場(chǎng)全部瓦解。不久，清政府戰(zhàn)敗，馬關(guān)條約簽訂。甲午戰(zhàn)爭(zhēng)雖然失敗了，但馬玉昆的勇敢善戰(zhàn)，卻為日人所畏懼，如 大平山之戰(zhàn)，連日方的戰(zhàn)史中也不得不承認(rèn)：“此日之中國(guó)兵頗為頑強(qiáng)”，“忠勇力戰(zhàn)”，“決無(wú)退卻之色”。

1899年（光緒二十五年），馬玉昆擢浙江提督。

1900年（光緒二十六年），調(diào)任直隸提督，適值八國(guó)聯(lián)軍侵華，八月，侵略軍兩萬(wàn)余人，沿運(yùn)河北犯。馬玉昆率武衛(wèi)左軍3000余人，配合義和團(tuán)，在天津、北倉(cāng)一帶英勇抗擊。因無(wú)援而退守南苑。后保慈禧太后、光緒皇帝逃往西安。光緒二十七年回京，加封太子少保，賞紫禁城騎馬。

馬玉昆關(guān)心家鄉(xiāng)，任期內(nèi)先后捐助蒙、渦兩縣及潁州府學(xué)費(fèi)白銀2．3萬(wàn)兩，并捐資興修界溝、葛溝兩座石橋。皖北大水，派員到六安、周口籌糧萬(wàn)石，救濟(jì)災(zāi)民。他為官數(shù)十年，衣服鞋襪均在家中自制。

1903年（光緒二十六年），日俄兩國(guó)爭(zhēng)奪中國(guó)東北邊境，在中國(guó)境內(nèi)交戰(zhàn)，馬玉昆奉命出關(guān)看守，駐守古北口至朝陽(yáng)一線。

1906年（光緒二十九年），馬玉昆撤防回京郊通州。

1908年（光緒三十四年），馬玉昆在住所去世，享年71歲。清廷念馬玉昆一生效忠，追贈(zèng)太子少保，賞加二等輕騎都尉世職，照提督例賜恤，溢號(hào)忠武公。其靈柩奉旨運(yùn)回家鄉(xiāng)，葬于渦陽(yáng)城外的新卜宅。

《清史稿》：中日之戰(zhàn)，淮軍既覆，湘軍隨之，唯豫軍強(qiáng)起支搘。慶與玉昆先后失利，亦不復(fù)能自振焉。東三省練軍自成軍后，終未當(dāng)大敵，而依克唐阿、長(zhǎng)順一奮其氣，遂保遼陽(yáng)而無(wú)失，中外稱(chēng)之。喪師辱國(guó)者數(shù)矣，此固差強(qiáng)人意者哉。

天津人為了紀(jì)念這位馬玉昆，在河北區(qū)內(nèi)曾集資修建馬公祠。據(jù)說(shuō)，朝鮮居民為他建廟祭祀，把他與唐朝的薛仁貴、明朝的戚繼光稱(chēng)為中國(guó)三杰，將三尊塑像并列在供臺(tái)上。蒙城縣政府投巨資對(duì)馬玉昆故居馬公館將進(jìn)行一次全面、徹底的搶救性維修。

《清史稿·列傳二百四十八》