貝葉斯(Thomas Bayes,1701—1763)英國(guó)牧師、業(yè)余數(shù)學(xué)家。生活在18世紀(jì)的貝葉斯生前是位受人尊敬英格蘭長(zhǎng)老會(huì)牧師。為了證明上帝的存在，他發(fā)明了概率統(tǒng)計(jì)學(xué)原理，遺憾的是，他的這一美好愿望至死也未能實(shí)現(xiàn)。貝葉斯在數(shù)學(xué)方面主要研究概率論。他首先將歸納推理法用于概率論基礎(chǔ)理論，并創(chuàng)立了貝葉斯統(tǒng)計(jì)理論，對(duì)于統(tǒng)計(jì)決策函數(shù)、統(tǒng)計(jì)推斷、統(tǒng)計(jì)的估算等做出了貢獻(xiàn)。1763年發(fā)表了這方面的論著，對(duì)于現(xiàn)代概率論和數(shù)理統(tǒng)計(jì)都有很重要的作用。貝葉斯的另一著作《機(jī)會(huì)的學(xué)說(shuō)概論》發(fā)表于1758年。

貝葉斯所采用的許多術(shù)語(yǔ)被沿用至今。貝葉斯思想和方法對(duì)概率統(tǒng)計(jì)的發(fā)展產(chǎn)生了深遠(yuǎn)的影響。今天，貝葉斯思想和方法在許多領(lǐng)域都獲得了廣泛的應(yīng)用。從二十世紀(jì)20~30年代開(kāi)始，概率統(tǒng)計(jì)學(xué)出現(xiàn)了“頻率學(xué)派”和“貝葉斯學(xué)派”的爭(zhēng)論，至今，兩派的恩恩怨怨仍在繼續(xù)。

貝葉斯決策理論是主觀貝葉斯派歸納理論的重要組成部分。

貝葉斯決策就是在不完全情報(bào)下，對(duì)部分未知的狀態(tài)用主觀概率估計(jì)，然后用貝葉斯公式對(duì)發(fā)生概率進(jìn)行修正，最后再利用期望值和修正概率做出最優(yōu)決策。

貝葉斯決策理論方法是統(tǒng)計(jì)模型決策中的一個(gè)基本方法，其基本思想是：

1、已知類(lèi)條件概率密度參數(shù)表達(dá)式和先驗(yàn)概率。

2、利用貝葉斯公式轉(zhuǎn)換成后驗(yàn)概率。

3、根據(jù)后驗(yàn)概率大小進(jìn)行決策分類(lèi)。

他對(duì)統(tǒng)計(jì)推理的主要貢獻(xiàn)是使用了"逆概率"這個(gè)概念，并把它作為一種普遍的推理方法提出來(lái)。貝葉斯定理原本是概率論中的一個(gè)定理，這一定理可用一個(gè)數(shù)學(xué)公式來(lái)表達(dá)，這個(gè)公式就是著名的貝葉斯公式。 貝葉斯公式是他在1763年提出來(lái)的：

假定B1,B2,……是某個(gè)過(guò)程的若干可能的前提，則P(Bi)是人們事先對(duì)各前提條件出現(xiàn)可能性大小的估計(jì)，稱(chēng)之為先驗(yàn)概率。如果這個(gè)過(guò)程得到了一個(gè)結(jié)果A，那么貝葉斯公式提供了我們根據(jù)A的出現(xiàn)而對(duì)前提條件做出新評(píng)價(jià)的方法。P(Bi∣A)即是對(duì)以A為前提下Bi的出現(xiàn)概率的重新認(rèn)識(shí)，稱(chēng) P(Bi∣A)為后驗(yàn)概率。經(jīng)過(guò)多年的發(fā)展與完善，貝葉斯公式以及由此發(fā)展起來(lái)的一整套理論與方法，已經(jīng)成為概率統(tǒng)計(jì)中的一個(gè)冠以“貝葉斯”名字的學(xué)派，在自然科學(xué)及國(guó)民經(jīng)濟(jì)的許多領(lǐng)域中有著廣泛應(yīng)用。

設(shè)D1，D2，……，Dn為樣本空間S的一個(gè)劃分，如果以P(Di)表示事件Di發(fā)生的概率，且P(Di)>0(i=1，2，…，n)。對(duì)于任一事件x，P(x)>0，則有：

（1）如果我們已知被分類(lèi)類(lèi)別概率分布的形式和已經(jīng)標(biāo)記類(lèi)別的訓(xùn)練樣本集合，那我們就需要從訓(xùn)練樣本集合中來(lái)估計(jì)概率分布的參數(shù)。在現(xiàn)實(shí)世界中有時(shí)會(huì)出現(xiàn)這種情況。（如已知為正態(tài)分布了，根據(jù)標(biāo)記好類(lèi)別的樣本來(lái)估計(jì)參數(shù)，常見(jiàn)的是極大似然率和貝葉斯參數(shù)估計(jì)方法）

（2）如果我們不知道任何有關(guān)被分類(lèi)類(lèi)別概率分布的知識(shí)，已知已經(jīng)標(biāo)記類(lèi)別的訓(xùn)練樣本集合和判別式函數(shù)的形式，那我們就需要從訓(xùn)練樣本集合中來(lái)估計(jì)判別式函數(shù)的參數(shù)。在現(xiàn)實(shí)世界中有時(shí)會(huì)出現(xiàn)這種情況。（如已知判別式函數(shù)為線性或二次的，那么就要根據(jù)訓(xùn)練樣本來(lái)估計(jì)判別式的參數(shù)，常見(jiàn)的是線性判別式和神經(jīng)網(wǎng)絡(luò)）

（3）如果我們既不知道任何有關(guān)被分類(lèi)類(lèi)別概率分布的知識(shí)，也不知道判別式函數(shù)的形式，只有已經(jīng)標(biāo)記類(lèi)別的訓(xùn)練樣本集合。那我們就需要從訓(xùn)練樣本集合中來(lái)估計(jì)概率分布函數(shù)的參數(shù)。在現(xiàn)實(shí)世界中經(jīng)常出現(xiàn)這種情況。（如首先要估計(jì)是什么分布，再估計(jì)參數(shù)。常見(jiàn)的是非參數(shù)估計(jì)）

（4）只有沒(méi)有標(biāo)記類(lèi)別的訓(xùn)練樣本集合。這是經(jīng)常發(fā)生的情形。我們需要對(duì)訓(xùn)練樣本集合進(jìn)行聚類(lèi)，從而估計(jì)它們概率分布的參數(shù)。（這是無(wú)監(jiān)督的學(xué)習(xí)）

（5）如果我們已知被分類(lèi)類(lèi)別的概率分布，那么，我們不需要訓(xùn)練樣本集合，利用貝葉斯決策理論就可以設(shè)計(jì)最優(yōu)分類(lèi)器。但是，在現(xiàn)實(shí)世界中從沒(méi)有出現(xiàn)過(guò)這種情況。這里是貝葉斯決策理論常用的地方。

問(wèn)題：假設(shè)我們將根據(jù)特征矢量x 提供的證據(jù)來(lái)分類(lèi)某個(gè)物體，那么我們進(jìn)行分類(lèi)的標(biāo)準(zhǔn)是什么？decide wj， if（p(wj|x)>p(wi|x)）(i不等于j)應(yīng)用貝葉斯展開(kāi)后可以得到p(x|wj)p(wj)>p(x|wi)p(wi)即或然率p(x|wj)/p(x|wi)>p(wi)/p(wj)，決策規(guī)則就是似然率測(cè)試規(guī)則。

結(jié)論：對(duì)于任何給定問(wèn)題，可以通過(guò)似然率測(cè)試決策規(guī)則得到最小的錯(cuò)誤概率。此錯(cuò)誤概率稱(chēng)為貝葉斯錯(cuò)誤率，且是所有分類(lèi)器中可以得到的最好結(jié)果。最小化錯(cuò)誤概率的決策規(guī)則就是最大化后驗(yàn)概率判據(jù)。

貝葉斯決策理論方法是統(tǒng)計(jì)模式識(shí)別中的一個(gè)基本方法。貝葉斯決策判據(jù)既考慮了各類(lèi)參考總體出現(xiàn)的概率大小，又考慮了因誤判造成的損失大小，判別能力強(qiáng)。貝葉斯方法更適用于下列場(chǎng)合：

(1) 樣本(子樣)的數(shù)量(容量)不充分大，因而大子樣統(tǒng)計(jì)理論不適宜的場(chǎng)合。

(2) 試驗(yàn)具有繼承性，反映在統(tǒng)計(jì)學(xué)上就是要具有在試驗(yàn)之前已有先驗(yàn)信息的場(chǎng)合。用這種方法進(jìn)行分類(lèi)時(shí)要求兩點(diǎn)： 　第一，要決策分類(lèi)的參考總體的類(lèi)別數(shù)是一定的。例如兩類(lèi)參考總體(正常狀態(tài)Dl和異常狀態(tài)D2)，或L類(lèi)參考總體D1，D2，…，DL(如良好、滿意、可以、不滿意、不允許、……)。

第二，各類(lèi)參考總體的概率分布是已知的，即每一類(lèi)參考總體出現(xiàn)的先驗(yàn)概率P(Di)以及各類(lèi)概率密度函數(shù)P(x/Di)是已知的。顯然，0≤P(Di)≤1，(i=l，2，…，L)，∑P(Di)=1。對(duì)于兩類(lèi)故障診斷問(wèn)題，就相當(dāng)于在識(shí)別前已知正常狀態(tài)D1的概率P(D1)和異常狀態(tài)0：的概率P(D2)，它們是由先驗(yàn)知識(shí)確定的狀態(tài)先驗(yàn)概率。如果不做進(jìn)一步的仔細(xì)觀測(cè)，僅依靠先驗(yàn)概率去作決策，那么就應(yīng)給出下列的決策規(guī)則：若P(D1)>P(D2)，則做出狀態(tài)屬于D1類(lèi)的決策；反之，則做出狀態(tài)屬于D2類(lèi)的決策。例如，某設(shè)備在365天中，有故障是少見(jiàn)的，無(wú)故障是經(jīng)常的，有故障的概率遠(yuǎn)小于無(wú)故障的概率。因此，若無(wú)特別，j明顯的異常狀況，就應(yīng)判斷為無(wú)故障。顯然，這樣做對(duì)某一實(shí)際的待檢狀態(tài)根本達(dá)不到診斷的目的，這是由于只利用先驗(yàn)概率提供的分類(lèi)信息太少了。為此，我們還要對(duì)系統(tǒng)狀態(tài)進(jìn)行狀態(tài)檢測(cè)，分析所觀測(cè)到的信息。

概率論是邏輯嚴(yán)謹(jǐn)推理性強(qiáng)的一門(mén)數(shù)學(xué)分科,貝葉斯公式是概率論中較為重要的公式,是一種建立在概率和統(tǒng)計(jì)理論基礎(chǔ)上的數(shù)據(jù)分析和輔助決策工具,以其堅(jiān)實(shí)的理論基礎(chǔ)、自然的表示方式、靈活的推理能力和方便的決策機(jī)制受到越來(lái)越多研究學(xué)者的重視。目前,貝葉斯網(wǎng)絡(luò)已經(jīng)廣泛應(yīng)用在醫(yī)學(xué)、信息傳遞、生產(chǎn)、偵破案件幾個(gè)方面。