第4章統(tǒng)計決策方法4.1最小誤判概率準(zhǔn)則判決4.2最小損失準(zhǔn)則判決4.3最小最大準(zhǔn)則4.4正態(tài)分布模型的統(tǒng)計決策

在前兩章里，所討論的模式向量的類別是確定的，也就是說，一個模式向量要么屬于這一類，要么屬于另一類。我們的任務(wù)是用適當(dāng)?shù)囊?guī)則或方法以盡可能小的分類錯誤對模式進(jìn)行分類。但是客觀世界中存在著許多的事物和現(xiàn)象，在對它們的多種屬性進(jìn)行觀測時，即便是基本條件不變，觀測結(jié)果也具有某種不確定性，即每一次觀測的結(jié)果沒有重復(fù)性。對于這種情況，只有經(jīng)過反復(fù)觀測，結(jié)果才能呈現(xiàn)某種規(guī)律性，即觀測結(jié)果具有統(tǒng)計特性。由于觀測結(jié)果具有不確定性，使得所得到的模式向量的類別具有不確定性，即不能說一個模式向量一定屬于某一類，只能說它屬于某一類的可能性有多大。這種模式向量稱為隨機模式向量，其分量是隨機變量。我們知道概率論是研究隨機性或不確定性現(xiàn)象的數(shù)學(xué)分支。因此用概率論的理論和方法解決隨機模式向量的分類問題，從理論和總體上講都是合理和可靠的。概括地講，統(tǒng)計判決是用概率統(tǒng)計的理論和方法，將先驗信息、樣本信息與后驗信息結(jié)合起來用于推斷決策。在本章中，主要是依據(jù)模式向量的先驗概率、概率分布密度、后驗概率以及貝葉斯(Bayes)公式，按照某種準(zhǔn)則使分類識別的結(jié)果從統(tǒng)計上講是最佳的。選擇的準(zhǔn)則函數(shù)不同，導(dǎo)出的判決規(guī)則就不同，分類結(jié)果也不同。在實際中使用哪種準(zhǔn)則或方法應(yīng)根據(jù)具體問題來確定。貝葉斯決策方法是統(tǒng)計模式識別中的一個基本方法，用該方法進(jìn)行分類時要求：

(1)各類別總體的概率分布是已知的；

(2)要決策分類的類別數(shù)是一定的。

本章主要討論Bayes決策規(guī)則的基本概念和方法以及正態(tài)分布模型下的統(tǒng)計決策。

4.1最小誤判概率準(zhǔn)則判決

4.1.1基礎(chǔ)知識

概率統(tǒng)計理論是進(jìn)行統(tǒng)計決策的基礎(chǔ)。因此，在正式介紹統(tǒng)計決策方法之前，我們先給出一些有關(guān)的基本概念。

(1)先驗概率。先驗概率是事先根據(jù)大量統(tǒng)計資料得到的事件發(fā)生的概率。用P(ωi)表示ωi類出現(xiàn)的先驗概率，簡稱為ωi的概率。

(2)類條件概率密度函數(shù)。類條件概率密度函數(shù)表示在ωi類發(fā)生的條件下x屬于ωi類的概率密度。用p(x(|ωi)])來表示ωi類的條件概率密度函數(shù)。根據(jù)假設(shè)，類條件概率密度函數(shù)一般為已知的，如圖4.1所示。圖4.1類條件概率密度函數(shù)

(3)后驗概率。后驗概率表示在模式向量x觀測到的條件下ωi類發(fā)生的概率，或者說是表示x觀測到的條件下x屬于

ωi類的概率。用P(ωi(|x))來表示ωi類的后驗概率。

(4)貝葉斯公式。利用貝葉斯公式可以得到后驗概率與先驗概率和類條件概率密度函數(shù)的關(guān)系。貝葉斯公式為(4-1)其中，，c是模式類的總數(shù)。貝葉斯公式實質(zhì)上是通過觀察x把狀態(tài)的先驗概率轉(zhuǎn)化為狀態(tài)的后驗概率，如圖4.2所示。圖4.2后驗概率4.1.2最小誤判概率準(zhǔn)則判決

當(dāng)我們按某一種分類決策規(guī)則對待識別的隨機模式進(jìn)行分類時，一般都存在錯判的可能性。而且對于某一具體模式，不同的決策規(guī)則可能有不同的判決結(jié)果。為了使分類的結(jié)果盡可能符合實際情況，我們希望盡量減少分類錯誤的概率，因此需要建立一種能使錯誤率為最小的決策規(guī)則。首先我們從一個兩類情況——疾病診斷的例子出發(fā)來討論，然后推廣到多類情況。在疾病診斷中，我們把某種血液疾病的患者看成一類，用ω1表示；把健康人看成另一類，用ω2表示。醫(yī)生根據(jù)大量統(tǒng)計資料可以對某一地區(qū)患某種血液疾病的人和健康的人的比例作出估計。若某種血液疾病患者的概率用P(ω1)表示，健康人的概率用P(ω2)表示，顯然，P(ω1)和P(ω2)均為先驗概率且P(ω1)+P(ω2)=1。如果僅僅根據(jù)先驗概率進(jìn)行分類，則決策規(guī)則是：

若P(ω1)>P(ω2)，則診斷對象屬于ω1類；

若P(ω2)>P(ω1)，則診斷對象屬于ω2類。一般情況下，健康人的比例總是大于某種血液疾病患者的比例，即P(ω2)>P(ω1)。所以,這一地區(qū)的所有人都會被判決為屬于ω2類。顯然，這種分類判決與實際情況是不符的。因此只根據(jù)先驗概率分類，方法雖然簡單，但錯分率很大，這是由于先驗概率提供的分類信息太少。為了更準(zhǔn)確的識別，我們還應(yīng)該從診斷對象的血液檢驗數(shù)據(jù)中獲取更多的統(tǒng)計特性。例如，從血液檢驗中獲取d項有意義的數(shù)據(jù)，構(gòu)成一個d維模式向量。d維隨機模式向量通常用后驗概率、類條件概率密度函數(shù)等來表示。后驗概率P(ωi|x)表示在模式向量x觀測到的條件下ωi類發(fā)生的概率，那么現(xiàn)在“合理”的判決是：如果P(ω1|x)>P(ω2|x)，則判決x屬于ω1；

如果P(ω1|x)<P(ω2|x)，則判決x屬于ω2；如果P(ω1|x)=P(ω2|x)，則判決x屬于ω1或?qū)儆讦?。

我們稱這種判決為最大后驗概率判決準(zhǔn)則，也稱為最小誤判概率貝葉斯準(zhǔn)則。利用貝葉斯公式(4-1)還可以得到幾種最小誤判概率貝葉斯決策規(guī)則的等價形式：

(1)如果，則

x∈ωi

(4-2)

(2)若，則

(3)對式(4-3)的l(x)取自然對數(shù)的負(fù)值，可寫為(4-3)若則(4-4)

例4.1假定在一次食品樣本抽查中，樣本顯示合格的先驗概率P(ω1)和樣本顯示不合格的先驗概率P(ω2)分別為：

P(ω1)=0.95，P(ω2)=0.05

現(xiàn)有一待檢測的樣本，其觀察值為x,從類條件概率密度函數(shù)分布曲線上查得：p(x|ω1)=0.2，p(x|ω2)=0.5。試對x進(jìn)行分類。

解利用貝葉斯公式，分別計算出ω1和ω2的后驗概率：根據(jù)最小誤判概率貝葉斯準(zhǔn)則有

P(ω1|x)=0.884>P(ω2|x)=0.116

所以合理的判決是把x歸于ω1類，即被檢驗的食品為合格產(chǎn)品。

從這個例子可以看出，分類結(jié)果由先驗概率和類條件概率密度函數(shù)共同決定。在這個具體的例子中，由于ω1類的先驗概率遠(yuǎn)大于ω2類的先驗概率，使得先驗概率在判

決中起了主導(dǎo)作用。接下來，我們將最小誤判概率準(zhǔn)則推廣到多類情況。如果所討論的分類問題有c個類別，并且P(ωi)和p(x|ωi)已知，就可由貝葉斯公式計算出后驗概率P(ωi|x)，然后利用P(ωi|x)進(jìn)行分類。分類規(guī)則為(4-5)，則x∈ωi類由貝葉斯公式可知，對于不同的ωi，同一x對應(yīng)的p(x)是相等的。因此用式(4-5)的分類規(guī)則對x進(jìn)行分類時，p(x)并不提供分類信息。所以式(4-5)的分類規(guī)則又可以表示為若若，則x∈ωi類(4-6)式(4-5)或式(4-6)所示的分類規(guī)則稱為多類情況的最小誤判概率貝葉斯準(zhǔn)則。上面給出了最小誤判概率貝葉斯準(zhǔn)則，下面證明這種分類規(guī)則的錯誤率最小。證明以兩類問題為例，其結(jié)果不難推廣到多維。

所謂錯誤率是指平均錯誤率，用P(e)表示。錯誤率的定義為

式中，表示在整個d維模式空間上的積分，P(e|x)表示x被錯分的概率。(4-7)對兩類問題，從式(4-2)的分類規(guī)則可知，若P(ω2|x)>P(ω1|x)，則x應(yīng)屬于ω2類。當(dāng)作出這種決策時，x被錯分的條件錯誤概率應(yīng)為P(ω1|x)。反之，x的條件錯誤概率應(yīng)為P(ω2|x)?？梢员硎緸?4-8)在兩類問題中，由P(ω2|x)=P(ω1|x)確定的分界面把模式空間劃分為兩個判決區(qū)。設(shè)R1為ω1類的判決區(qū)，R2為ω2類的判決區(qū)，兩類問題中的錯誤率可以表示為(4-9)式中由式(4-8)和式(4-9)可知，式(4-5)和式(4-6)所示的判決規(guī)則實際上是對每個x都使P(e|x)取小者，這就使式(4-7)的積

分達(dá)到最小，即使平均錯誤率達(dá)到最小。圖4.3表示一維兩類情況下錯誤率的分布情況。圖中，用不同斜線表示的兩個區(qū)域的面積分別為P(ω2)P2(e)和P(ω1)P1(e)，兩者之和為P(e)。圖4.3貝葉斯決策的錯誤概率在多類情況下，設(shè)共有c類,根據(jù)最小誤判概率貝葉斯準(zhǔn)則，若x∈ωi類，則P(ωi|x)=max{P(ωj|x)}，j=1，2，…c，j≠i在這種情況下共有c個判決區(qū)，x判決屬于ωi類的錯誤率為

x判決屬于c類中任一類所造成的平均錯誤率為(4-10)由式(4-10)可知，求P(e)的計算量很大。如果先求出平均正

確分類概率P(r)，然后根據(jù)P(e)=1－P(r)計算P(e)要簡單得多。P(r)根據(jù)下式計算：(4-11)

4.2最小損失準(zhǔn)則判決

上一節(jié)討論了使誤判概率最小的貝葉斯準(zhǔn)則，并且證明了應(yīng)用這種判決準(zhǔn)則時，平均錯誤率是最小的。但當(dāng)接觸到實際問題時，可以發(fā)現(xiàn)使錯誤率最小并不一定是一個普遍適用的最佳選擇。因為不同的待識別對象誤判后付出的代價一般來講是不同的。例如，在診斷中把正常細(xì)胞誤判為癌細(xì)胞會給病人及其家屬帶來精神上的負(fù)擔(dān)和痛苦，并且要耗費大量的精力和財力進(jìn)行無病醫(yī)病，而將癌細(xì)胞誤判為正常細(xì)胞將使病人失去進(jìn)一步檢查和醫(yī)治的機會，造成致命的后果。顯然這兩種不同的誤判所造成損失的嚴(yán)重程度是不同的。再如，戰(zhàn)爭中對一架飛機進(jìn)行敵我識別時，有些情況下將一架敵機判為友機所帶來的人員損失要比將友機判為敵機大得多；又如戰(zhàn)爭中，對飛機的誤判要比對汽車的誤判經(jīng)濟損失大得多。不同的對象誤判后蒙受的損失是不一樣的，相同的對象在不同的領(lǐng)域誤判后蒙受的損失也不一樣。如果說在判決時只考慮誤判概率相對純數(shù)學(xué)一些，那么我們還要考慮判決后帶來的社會或經(jīng)濟上的影響，使分類識別規(guī)則更適合于實際問題。因此,有必要引入能夠反映由于誤判要付出代價的“損失函數(shù)”。4.2.1損失函數(shù)與平均損失

設(shè)有c個模式類，分別記為ω1，ω2，…，ωc。對于觀察到的任一隨機模式向量x，它可能屬于c類中的任一類。若x實際上屬于ωi類但判為屬于ωj造成的損失記為Lij(x)，我們將Lij(x)稱為損失函數(shù)。若x實際上屬于其余任一類而判為

屬于ωj也會造成損失，不同的錯分造成的損失也不同。因此，x判為屬于ωj類而造成的條件期望損失或條件平均損失為(4-12)式(4-12)稱為某一x判為屬于ωj類的條件平均損失函數(shù)。某一x判為c類中的任一類時，都對應(yīng)一個條件平均損失，依次記為R1(x)，R2(x)，…，Rc(x)。對于每一個條件平均損失,關(guān)于x求數(shù)學(xué)期望并求和即為平均損失，我們記為R,即

其中Rj為判決為x∈ωj時的判決域。如果對每一個x都按條件平均損失最小決策，那么平均損失R也最小。(4-13)4.2.2最小損失貝葉斯準(zhǔn)則判決

在考慮錯判帶來的損失時，我們希望損失最小。如果在采取每一個判決時，都使其條件平均損失最小，則對所有的x作出判決時，其平均損失也必然最小。這樣的判決就是最小損失貝葉斯判決準(zhǔn)則。

最小損失貝葉斯判決準(zhǔn)則為如果，則x∈ωj

(4-14)

對于實際問題，最小損失貝葉斯判決可按下列步驟進(jìn)行(1)確定損失函數(shù)Lij的值。確定損失函數(shù)的值時，往往要根據(jù)所研究的具體問題，分析錯誤決策造成損失的嚴(yán)重程度，與有關(guān)的專家共同商討來確定。

(2)在已知P(ωj)，p(x|ωj)，j=1，…，c及給出待識別的x情況下，根據(jù)貝葉斯公式計算出后驗概率。

(3)利用計算出的后驗概率及損失函數(shù)，按式(4-12)計算出將x判為屬于ωj類的條件平均損失函數(shù)Rj(x)，j=1，…，c。(4)對求得的c個條件平均損失函數(shù)Rj(x)，j=1，…，c進(jìn)行比較，找到其中的最小值，即，j≠i，則x∈ωj。例4.2在例4.1條件的基礎(chǔ)上，損失函數(shù)的值分別為L11=0，L12=1，L21=10，L22=0，按最小損失貝葉斯判決準(zhǔn)則進(jìn)行分類。

解已知條件為：

P(ω1)=0.95，P(ω2)=0.05

p(x|ω1)=0.2，p(x|ω2)=0.5

L11=0，L12=1，L21=10，L22=0

根據(jù)例4.1的計算結(jié)果可知后驗概率為

P(ω1|x)=0.884，P(ω2|x)=0.116

由式(4-12)計算出的條件平均損失函數(shù)為

由于R1(x)>R2(x)，故判決為ω2的損失小于判決為ω1的損失。因此，我們將x歸到ω2類，即被檢驗食品為不合格食品。

將本例與例4.1相對比，其分類結(jié)果正好相反，這是因為這里影響判決結(jié)果的因素又多了一個，即“損失”。而且兩類錯誤判決所造成的損失相差很懸殊，因此“損失”就起了主導(dǎo)作用。上面我們介紹了兩種分別使誤判概率和損失達(dá)到最小的貝葉斯判決準(zhǔn)則。這里再簡單討論一下這兩種判決規(guī)則之間的關(guān)系。設(shè)損失函數(shù)為

式(4-15)中,Lij=0是指對于正確判決(即i=j)沒有損失；而對于任何錯誤判決，其損失均為1。這樣定義的損失函數(shù)稱為0-1損失函數(shù)。(4-15)由式(4-12)可知，條件平均損失為

因此，在0-1損失函數(shù)的條件下，最小損失判決準(zhǔn)則為

由式(4-17)可知,去掉P(ωj|x)的c－1個后驗概率之和也是最小的，也就是說,P(ωj|ｉ)是所有后驗概率中最大的。因此，式(4-17)等價于：(4-16)如果，則x∈ωj(4-17)如果，則x∈ωj(4-18)式(4-18)即為最小誤判概率準(zhǔn)則。因此，當(dāng)損失函數(shù)為0-1損失函數(shù)時，最小損失準(zhǔn)則等價于最小誤判概率準(zhǔn)則，此時平均損失就是誤判概率，使平均損失最小,即使誤判概率最小。這表明，最小誤判概率準(zhǔn)則是最小損失準(zhǔn)則的特例。

*4.3最小最大準(zhǔn)則

從最小誤判概率或最小損失貝葉斯判決中可以看出,其判決都是與先驗概率ｉ(ωi)有關(guān)的。如果對給定的x，其P(ωi)不變，則按照貝葉斯判決準(zhǔn)則，可以使誤判概率或損失最小。但如果P(ωi)是可變的，或事先對先驗概率毫無所知，若再按某個固定的P(ωi)條件下的判決準(zhǔn)則來進(jìn)行判決,則往往得不到最小的誤判概率或最小損失。本節(jié)介紹最小最大判決準(zhǔn)則，希望在考慮P(ωi)變化的情況下，最大可能地使損失最小，即在最差的條件下爭取最好的結(jié)果。對于兩類問題，假定損失函數(shù)：

L11——當(dāng)x∈ω1時判決為x∈ω1的損失；

L12——當(dāng)x∈ω1時判決為x∈ω2的損失；

L21——當(dāng)x∈ω2時判決為x∈ω1的損失；

L22——當(dāng)x∈ω2時判決為x∈ω2的損失。

通常做出錯誤判決總是比做出正確判決帶來的損失要大，即

L12>L11，L21>L22

(4-19)再假定判決域R1和R2已確定，則風(fēng)險R可按式(4-13)得出：(4-20)我們的目的是要分析損失R和先驗概率P(ω1)之間的關(guān)系。兩類情況P(ω1)與P(ω2)應(yīng)滿足下式：

P(ω1)+P(ω2)=1

(4-21)

再利用類條件概率密度的性質(zhì)：(4-22)則式(4-20)可寫為(4-23)由式(4-23)可知，一旦R1和R2被確定，損失R就是先驗概率P(ω1)的線性函數(shù)，即R=a+bP(ω1)，其中在已知類條件概率密度函數(shù)、損失函數(shù)及某個確定的先驗概率P(ω1)時，可以按最小損失貝葉斯判決找出兩類的分類判決面，把特征空間分割成兩部分R1和R2，使其損失為最小。所以，我們可以在(0，1)區(qū)間內(nèi)，對先驗概率P(ω1)取若干個不同的值，分別按最小損失貝葉斯判決確定其相應(yīng)的判決域，從而計算出其相應(yīng)的最小損失R，這樣就得到最小損失R和先驗概率P(ω1)的關(guān)系曲線，如圖4.4中的曲線部分所示。圖4.4最小最大判決圖4.4(a)所示曲線上A點的縱坐標(biāo)值R*a是對應(yīng)先驗概率為P*a(ω1)時的最小損失，而過A點的切線CD則是對應(yīng)于式(4-23)的直線，直線上點的縱坐標(biāo)則是對應(yīng)于P(ω1)變化時的損失值，損失值在(a，a+b)的范圍內(nèi)變化，其最大損失為a+b。

由式(4-23)可知，如果在某個P(ω1)情況下，能找

出判決域使式(4-23)中P(ω1)的系數(shù)b=0，即(4-24)那么損失R就為

圖4.4(b)中B點的橫坐標(biāo)P*b(ω1)是對應(yīng)于找出判決域使系數(shù)b=0的P(ω1)，縱坐標(biāo)對應(yīng)其貝葉斯損失，過B點的切線C′D′與橫軸平行，即這時式(4-25)表示與曲線相切且平行于P(ω1)坐標(biāo)軸，那么不管P(ω1)做什么變化，其損失都不再變化，其最大損失也等于a，這時就使最大損失最小。(4-25)綜上所述，可以得出結(jié)論：在做最小損失貝葉斯判決時，若考慮P(ω1)有可能改變或?qū)ο闰灨怕屎翢o所知的情況，則應(yīng)選擇使最小貝葉斯損失R*為最大值時的P*(ω1)來設(shè)計分類器，即對應(yīng)于圖4.4(b)中的B點，使其損失R*b相對于其他的P(ω1)為最大，而能保證在不管P(ω1)如何變化時，使最大損失降為最小，我們將這樣的判決稱為最小最大判決。

因此，最小最大判決的任務(wù)就是尋找使貝葉斯損失為最大時的判決域R1和R2，它對應(yīng)于式(4-24)積分方程的解。在求出使貝葉斯損失為最大時的判決域R1、R2以及相應(yīng)的先驗概率P*b(ω1)后，最小最大判決準(zhǔn)則就完全與最小損失判決準(zhǔn)則相似。最后需指出的是,用最小最大判決進(jìn)行分類是偏于保守的分類方法。

4.4正態(tài)分布模型的統(tǒng)計決策

前面兩節(jié)討論了貝葉斯統(tǒng)計決策，這一節(jié)討論利用貝葉斯統(tǒng)計決策解決正態(tài)分布模式的識別問題。這一方面源于對于許多實際的數(shù)據(jù)集而言，正態(tài)分布假設(shè)是一種較為合理的近似;另一方面源于正態(tài)分布有許多好的性質(zhì)，有利于作數(shù)學(xué)分析。4.4.1正態(tài)分布概率密度函數(shù)

1.單變量正態(tài)分布

單變量正態(tài)分布概率密度函數(shù)的定義為

式中μ為隨機變量x的期望值，σ2為x的方差，σ為標(biāo)準(zhǔn)差。(4-26)式(4-26)的正態(tài)分布概率密度函數(shù)p(x)如圖4.5所示。圖4.5正態(tài)分布概率密度函數(shù)概率密度函數(shù)應(yīng)滿足下列關(guān)系式：

p(x)≥0，－∞<x<∞

單變量正態(tài)分布密度函數(shù)p(x)可由兩個參數(shù)μ和σ2完全確定。為簡單起見，通常記p(x)為

p(x)~N(μ，σ2)(4-27)

正態(tài)分布的樣本主要集中在均值附近，其分散程度可以用標(biāo)準(zhǔn)差來表征，σ越大，分散程度越大。從正態(tài)分布的總體中抽取樣本，約有95%的樣本都落在區(qū)間(|x－μ)|≤2σ中。

2.多元正態(tài)分布

多元正態(tài)分布概率密度函數(shù)的定義為

式中，x是d維模式向量，m是d維均值向量，C為d×d維協(xié)方差矩陣，即

m=E{x}

C=E{(x－m)(x－m)T}

若xi是x的第i個分量，mi是m的第i個分量，Cij是C的第i行第j列的元素，則(4-28)其中p(xi)是邊緣分布，即xi的方差是C的對角線上元素Cii，Cij是xi和xj的協(xié)方差。協(xié)方差矩陣C為對稱正定矩陣。當(dāng)協(xié)方差矩陣為對角矩陣時，x的d個分量相互之間統(tǒng)計不相關(guān)且相互統(tǒng)計獨立。

取自一個正態(tài)分布總體的樣本模式集的中心取決于其均值向量。而其分布形狀取決于協(xié)方差矩陣，分布的等密度點的軌跡為超橢圓，橢圓的主軸由協(xié)方差矩陣的特征向量決定，主軸的長度由特征值決定。4.4.2正態(tài)模型的Bayes決策

下面討論利用最小誤判概率貝葉斯決策對正態(tài)分布模式進(jìn)行分類決策。

設(shè)有c個模式類，其中屬于ωi類的d維模式向量x的正態(tài)分布密度函數(shù)為

式中，mi和Ci分別為ωi類模式的均值向量和協(xié)方差矩陣。由式(4-5)可知，ωi類的判決函數(shù)為gi(x)=p(x|ωi)P(ωi)，

i=1，2…，c

(4-30)(4-29)把式(4-29)代入式(4-30)，然后對式(4-30)兩邊取自然對數(shù)，

由于自然對數(shù)函數(shù)是單調(diào)遞增函數(shù)，于是ωi類的判決函數(shù)可以表示為

鑒于判決規(guī)則是比較gi(x)和gj(x)的大小，去掉與類別無關(guān)的項并不影響分類結(jié)果，故gi(x)可簡化為

這就是正態(tài)分布模式的Bayes判決函數(shù)。上式表明，gi(x)是超二次曲面。(4-31)(4-32)如果ωi類和ωj類相鄰，則它們的決策界面方程為gi(x)=gj(x)。

一般來講，正態(tài)分布的兩個模式類別之間用一個二次判決界面就可以得到最優(yōu)效果。由于自然對數(shù)是單調(diào)增函數(shù)，因此判決規(guī)則不變：

gi(x)>gj(x)，i≠j

x∈ωi

下面對兩類問題的一些特殊情況進(jìn)行具體討論。設(shè)ω1和ω2類的概率密度函數(shù)分別為：

p(x|ω1)~N(m1，C1)

p(x|ω2)~N(m2，C2)

(1)C1≠C2。此時兩類問題的判別函數(shù)分別為：

判決規(guī)則為

顯然判決界面g1(x)－g2(x)=0是x的二次型方程決定的超曲面，它可能是超橢圓面、超球面、超拋物線或雙曲面。

(2)C1=C2=C。在這種情況下，有顯然g1(x)－g2(x)是x的線性函數(shù)，g1(x)－g2(x)=0決定的分界面是一個超平面。

(3)C1=C2=1且P(ω1)=P(ω2)=。這種情況下有更簡單的表達(dá)式：

顯然g1(x)－g2(x)是x的線性函數(shù)，g1(x)－g2(x)=0決定的分界面是一個超平面。

在多類情況下，若仍用最小誤判概率貝葉