阮文祥出生在越南中部的廣治省召峰縣的貧窮農(nóng)家中。他的父親曾參與反抗阮朝統(tǒng)治的起義，因此阮朝曾禁止他參加科舉考試。

1848年10月29日，嗣德帝繼位。阮朝的官方史料并沒有記載阮文祥最初是如何同嗣德帝搭上關(guān)系的，但可以證明的是，阮文祥在嗣德帝的保護(hù)下成功通過了科舉考試，并成為了高級官員。1852年，阮文祥被任命為刑部尚書。1862年，阮文祥的父親逝世。根據(jù)儒家傳統(tǒng)觀念，阮文祥退隱還鄉(xiāng)，為父親守了五年的孝，此后又官復(fù)原職。

從1858年起，越南成為法國的保護(hù)國。1873年，嗣德帝將與法國談判的重任交給了阮文祥。雖然他成功同法國簽訂了條約，但法國人將他當(dāng)作一個騙子。在同霍道生簽訂了條約和收復(fù)了被安鄴大尉占領(lǐng)的河內(nèi)之后，阮文祥被任命掌管國家的內(nèi)政和外交事務(wù)。1881年，成為內(nèi)閣首相。

嗣德帝死后，遺命阮文祥、陳踐誠、尊室說三人共掌朝政。但事實上，阮文祥和尊室說在朝中的權(quán)力遠(yuǎn)遠(yuǎn)大于陳踐誠。而執(zhí)掌朝政的不僅包括三人，還包括了嗣德帝的母親范氏姮，即慈裕太后、莊懿、學(xué)妃三位女性，也就是所謂的“三宮”。為了鞏固自己的權(quán)力，阮文祥同學(xué)妃發(fā)生曖昧關(guān)系。

嗣德帝沒有兒子，但他收養(yǎng)了三位侄兒為養(yǎng)子。嗣德帝在31歲時收養(yǎng)了弟弟堅太王阮福洪依的兩個兒子正蒙堂（后來成為同慶帝）、養(yǎng)善堂（后來成為建福帝），育為己子，當(dāng)時他們分別為19歲和14歲。

根據(jù)越南歷史學(xué)家范文山的說法，嗣德帝曾希望由養(yǎng)善堂繼承皇位，但受到了“三宮”的壓力。嗣德帝曾經(jīng)通過批評育德堂（嗣德最年長的養(yǎng)子）的道德行為證明其立養(yǎng)善堂為儲君的正確性，但三宮最初不為育德的行為所動，直到后來決定殺死他。由于阮文祥與學(xué)妃的曖昧關(guān)系，一些歷史學(xué)家推測他們通過治療謀殺了育德帝。隨后阮文祥等人擁立了37歲的協(xié)和帝即位。然而新皇帝意識到他們的威脅，試圖疏遠(yuǎn)他們。阮文祥等人得知后，計劃廢黜協(xié)和帝。協(xié)和帝通過聯(lián)合法國勢力的方法來對抗可怕的輔政大臣們。然而但法國人不在的時候，阮文祥等人殺死了協(xié)和帝，另立建福帝。然而建福帝抓住了阮文祥與學(xué)妃通奸一事，聲稱將依法處置他們。在阮文祥將要被殺之前，學(xué)妃在建福帝的藥里下毒，使建福帝在第二天就死去了。

最終，阮文祥和尊室說擁立了咸宜帝。尊室說決定發(fā)動反對法國的勤王運動。尊室說戰(zhàn)敗，挾持咸宜帝出奔廣治省，據(jù)守山區(qū)對抗法軍，后兵敗出奔清朝。同時法國人擁立同慶帝即位，阮文祥繼續(xù)充當(dāng)輔政大臣的角色。

法國人給阮文祥兩個月的時間，要求他將咸宜帝俘虜并帶回，而當(dāng)時咸宜帝仍在山區(qū)里反抗。但阮文祥沒有完成法國人的任務(wù)。于是在1885年9月6日，法國人罷去他一切職務(wù)，將他和尊室說的父親尊室訂一起關(guān)押在了昆山島。阮文祥在監(jiān)獄里圖謀東山再起，向士紳發(fā)出檄文討伐法國人，但被發(fā)現(xiàn)。法國人沒收了他的財產(chǎn)，發(fā)現(xiàn)了1450萬法屬印度支那元。

1885年11月23日，阮文祥被法國人流放到了太平洋上的塔希提島，并于1886年2月死在了那里。同年7月，他的遺體被尊室訂帶回順化安葬。