馬玉昆家世代務(wù)農(nóng)，家境貧寒。年輕時遷居雉河集（今渦陽縣城），因身體高大，性強悍，少年尚武，臂力過人，又好賭躲債，曾被亳州蔣氏大戶收為家丁。后往河南汝寧（今汝南縣），投淮軍所屬的毅軍營當(dāng)兵。當(dāng)時，毅軍正在汝寧、南陽、鄧州（今鄧縣）一帶鎮(zhèn)壓捻軍。因馬玉昆作戰(zhàn)強悍，在攻占仁山寨戰(zhàn)斗中立有“戰(zhàn)功”，受賞千總，戴藍翎，并升任毅軍統(tǒng)帥宋慶的親軍馬隊營官，為宋慶所賞識。

同治六年（1867 年），毅軍調(diào)防山東東平州（今東平縣），攻打張宗禹所率的西捻軍，馬玉昆舍命在前。隨后，又在淮路口堵截捻軍賴文光部。同年春天，馬玉昆在山東濟陽率領(lǐng)便衣，乘黑夜?jié)撊肽頎I，內(nèi)外夾攻，大敗捻軍。六月，馬玉昆率部又在荏平圍困捻軍。不久，清廷將馬玉昆提拔為副將，以總兵記名，并賞給“振勇巴圖魯”稱號。

同治年間，西北回亂爆發(fā)，陜甘總督左宗棠統(tǒng)兵前往，清廷調(diào)宋慶毅軍從陜北榆林一帶堵截陜甘回民軍隊。

1870年（同治九年），久攻回民據(jù)點金雞堡不下，調(diào)馬玉昆部參戰(zhàn)破堡，擊斃回軍首領(lǐng)相文治壯。論功授馬玉昆提督銜，賞“博奇巴圖”稱號。左宗棠平定陜甘回亂后，又出嘉峪關(guān)鎮(zhèn)壓新疆回民軍，清廷派宋慶任哈密剿匪會辦。馬玉昆奉宋慶派遣，隨左宗棠、金順出關(guān)入疆，得到器重。馬玉昆參加平定烏魯木齊、昌吉、瑪納斯等城，生擒回民首領(lǐng)黑瞎子，驅(qū)逐白顏虎逃入俄境。平定新疆以后，馬玉昆又參加屯墾，先后駐守新疆達10年之久。清廷因馬玉昆立有功勞，賞穿黃馬褂，賜騎都尉世職。

1890年（光緒十六年），李鴻章調(diào)馬玉昆任北洋軍隨辦營務(wù)兼毅軍后軍，駐守旅順。1891年（光緒十七年），清政府授馬玉昆山西太原鎮(zhèn)總兵。

1894年（光緒二十年）7月，中日甲午戰(zhàn)爭爆發(fā)，日本借口朝鮮內(nèi)戰(zhàn)，出兵入侵，朝鮮王室向清政府求援，清政府命馬玉昆率毅軍6營2000人前赴朝鮮，8月4日入平壤。與馬玉昆部同時入朝者還有左寶貴奉軍、 衛(wèi)汝貴盛軍及豐升阿奉天練軍盛字營等，共計29營，14000余人。清政府命 葉志超為駐平壤各軍總統(tǒng)。

9月15日，日軍分四路圍攻平壤。馬玉昆率毅軍分守平壤東門及 大同江左岸防線。15日凌晨，日軍第九旅團分左、中、右三路進犯大同江左岸毅軍陣地，馬玉昆指揮所部奮勇抗擊。日軍進攻部隊被阻于陣地外開闊地面，毫無掩蔽，傷亡慘重。日軍官不顧士兵死活，驅(qū)趕士兵拚死沖擊，清軍以猛烈炮火還擊，日軍“死傷甚多，如第十一聯(lián)隊第一中隊將校悉數(shù)戰(zhàn)死或負(fù)傷，第二十一聯(lián)隊第一大隊第二、第四中隊，其士官亦皆戰(zhàn)死”。馬玉昆指揮清軍乘勢由堡壘沖出，向日軍發(fā)起反沖鋒，展開白刃格斗。進攻平壤南路的日軍第九旅團，在馬玉昆指揮的毅軍抗擊下，遭受“將校以下死者約140名，傷者290名”的重大傷亡后，狼狽退出戰(zhàn)場，清軍取得保衛(wèi)戰(zhàn)的輝煌勝利。

但不幸，這時平壤 玄武門被日軍攻陷， 奉軍統(tǒng)領(lǐng) 左寶貴力戰(zhàn)犧牲。貪生怕死的 葉志超急令撤退。當(dāng)夜9時，葉志超率軍由平壤倉皇潰退。一路被日軍埋伏邀截，“人馬騰 相蹂死者2000余人”，被俘500余人，傷者無算。葉志超率敗兵狂奔500里，逃入中國境內(nèi)。這樣，馬玉昆率部英勇奮戰(zhàn)所取得的勝利，被畏縮怯懦的主將葉志超白白葬送了。

馬玉昆率軍退回國內(nèi)后，10月，從毅軍統(tǒng)領(lǐng) 宋慶防守 鴨綠江下游 九連城防線。25日，日軍由朝鮮義州越江來攻，首先進攻 聶士成、 馬金敘防守的 虎山陣地。在戰(zhàn)斗危急時刻，馬玉昆率部出援，奮勇殺敵。但由于守九連城的銘軍 劉盛休部，不戰(zhàn)而潰，清軍防線全線瓦解。馬玉昆隨宋慶退走鳳凰城。30日，鳳凰城又失，復(fù)退保 摩天嶺。

當(dāng)時由遼東半島花園口登陸的日本第二軍入寇金旅，旅順危急。清廷調(diào)毅軍回援。馬玉昆又從宋慶回軍西進，先后與日軍戰(zhàn)于金州、海城附近之馬圈子、感王寨。失敗后，隨宋慶退守田莊臺。

1895（光緒二十一年）年2月下旬，清軍數(shù)路聯(lián)合反攻被日軍占領(lǐng)的海城。24日，馬玉昆、 宋慶、 徐邦道與日軍戰(zhàn)于大石橋附近的 大平山。馬玉昆率部防守山北之東、西七里溝急附近村落，奮力抵抗。并馳驅(qū)于冰雪間，督隊力戰(zhàn)。坐馬中炮斃，重新易騎，繼續(xù)督戰(zhàn)。在戰(zhàn)斗中，“馬玉昆被圍垓心，率其親兵闖出重圍，因見我兵尚在圍內(nèi)，重復(fù)殺入，沖開一路，護之而出，其親兵百人兩次沖殺，僅剩二十余人，戰(zhàn)馬三易，均被炮斃”。大平山之戰(zhàn)是甲午中日戰(zhàn)爭的一次激烈戰(zhàn)斗，雙方傷亡慘重，日軍除在戰(zhàn)場上傷亡300余名外，并有大量士兵被凍傷，全軍達千人以上。清軍傷亡亦多，據(jù)宋慶所撰《大清敕建錦州毅軍昭忠祠碑文》記載，毅軍“死于大平山者四百二十四人”。

大平山失守后，馬玉昆隨宋慶退往營口，3月9日與日軍戰(zhàn)于田莊臺。馬玉昆分守田莊臺東北曹家灣子，雖奮勇抵抗，但由于主將宋慶指揮失誤，被日軍分路包圍截殺而失敗。從此清軍在遼南戰(zhàn)場全部瓦解。不久，清政府戰(zhàn)敗，馬關(guān)條約簽訂。甲午戰(zhàn)爭雖然失敗了，但馬玉昆的勇敢善戰(zhàn)，卻為日人所畏懼，如 大平山之戰(zhàn)，連日方的戰(zhàn)史中也不得不承認(rèn)：“此日之中國兵頗為頑強”，“忠勇力戰(zhàn)”，“決無退卻之色”。

1899年（光緒二十五年），馬玉昆擢浙江提督。

1900年（光緒二十六年），調(diào)任直隸提督，適值八國聯(lián)軍侵華，八月，侵略軍兩萬余人，沿運河北犯。馬玉昆率武衛(wèi)左軍3000余人，配合義和團，在天津、北倉一帶英勇抗擊。因無援而退守南苑。后保慈禧太后、光緒皇帝逃往西安。光緒二十七年回京，加封太子少保，賞紫禁城騎馬。

馬玉昆關(guān)心家鄉(xiāng)，任期內(nèi)先后捐助蒙、渦兩縣及潁州府學(xué)費白銀2．3萬兩，并捐資興修界溝、葛溝兩座石橋。皖北大水，派員到六安、周口籌糧萬石，救濟災(zāi)民。他為官數(shù)十年，衣服鞋襪均在家中自制。

1903年（光緒二十六年），日俄兩國爭奪中國東北邊境，在中國境內(nèi)交戰(zhàn)，馬玉昆奉命出關(guān)看守，駐守古北口至朝陽一線。

1906年（光緒二十九年），馬玉昆撤防回京郊通州。

1908年（光緒三十四年），馬玉昆在住所去世，享年71歲。清廷念馬玉昆一生效忠，追贈太子少保，賞加二等輕騎都尉世職，照提督例賜恤，溢號忠武公。其靈柩奉旨運回家鄉(xiāng)，葬于渦陽城外的新卜宅。

《清史稿》：中日之戰(zhàn)，淮軍既覆，湘軍隨之，唯豫軍強起支搘。慶與玉昆先后失利，亦不復(fù)能自振焉。東三省練軍自成軍后，終未當(dāng)大敵，而依克唐阿、長順一奮其氣，遂保遼陽而無失，中外稱之。喪師辱國者數(shù)矣，此固差強人意者哉。

天津人為了紀(jì)念這位馬玉昆，在河北區(qū)內(nèi)曾集資修建馬公祠。據(jù)說，朝鮮居民為他建廟祭祀，把他與唐朝的薛仁貴、明朝的戚繼光稱為中國三杰，將三尊塑像并列在供臺上。蒙城縣政府投巨資對馬玉昆故居馬公館將進行一次全面、徹底的搶救性維修。

《清史稿·列傳二百四十八》