第四章樸素貝葉斯貝葉斯分類是一類分類算法的總稱，這類算法均以貝葉斯定理為基礎，故統(tǒng)稱為貝葉斯分類。而樸素樸素貝葉斯分類是貝葉斯分類中最簡單，也是常見的一種分類方法。通過本節(jié)學習可以：學習貝葉斯分類器概念。掌握高斯樸素貝葉斯及多項式樸素貝葉斯。學習目標樸素貝葉斯貝葉斯分類器的分類原理貝葉斯定理貝葉斯定理的一個簡單例子貝葉斯分類的原理與特點樸素貝葉斯分類高斯樸素貝葉斯分類算法高斯樸素貝葉斯分類算法的原理多項式樸素貝葉斯分類算法伯努利樸素貝葉斯分類算法貝葉斯要解決的問題：使正向概率：假設袋子里有N個白球，M個黑球，隨機摸一個，摸出黑球的概率有多大逆向概率:如果事先不知道袋子里黑白球的比例，隨機摸出幾個球，根據這些球的顏色，可以推測袋子里面的黑白球比例。貝葉斯分類器的分類原理用p1(x,y)表示數據點(x,y)屬于類別1（圖中用圓點表示的類別）的概率，用p2(x,y)表示數據點(x,y)屬于類別2（圖中三角形表示的類別）的概率，那么對于一個新數據點(x,y)，可以用下面的規(guī)則來判斷它的類別：如果p1(x,y)>p2(x,y)，那么類別為1如果p2(x,y)>p1(x,y)，那么類別為2貝葉斯理論有一個裝了7塊石頭的罐子，其中3塊是白色的，4塊是黑色的。如果從罐子中隨機取出一塊石頭，那么是白色石頭的可能性是多少？由于取石頭有7種可能，其中3種為白色，所以取出白色石頭的概率為3/7。那么取到黑色石頭的概率是4/7。我們使用P(white)來表示取到白色石頭的概率，其概率值可以通過白色石頭數目除以總的石頭數目來得到。條件概率貝葉斯分類：貝葉斯分類是一類分類算法的總稱，這類算法均以貝葉斯定理為基礎，故統(tǒng)稱為貝葉斯分類。先驗概率：根據以往經驗和分析得到的概率。我們用??(??)來代表在沒有訓練數據前假設??擁有的初始概率。后驗概率：根據已經發(fā)生的事件來分析得到的概率。以??(??|??)代表假設??成立的情下觀察到??數據的概率，因為它反映了在看到訓練數據??后??成立的置信度。聯(lián)合概率：聯(lián)合概率是指在多元的概率分布中多個隨機變量分別滿足各自條件的概率。??與??的聯(lián)合概率表示為????,??、??(????)或??(??∩??)。假設??和??都服從正態(tài)分布，那么??(??<5,??<0)就是一個聯(lián)合概率，表示??<5,??<0兩個條件同時成立的概率。表示兩個事件共同發(fā)生的概率。貝葉斯方法背景知識貝葉斯公式條件概率的貝葉斯估計：式中

。當

時，是極大似然估計；當

時，稱為拉普拉斯平滑。先驗概率的貝葉斯估計：貝葉斯估計樸素貝葉斯貝葉斯分類器的分類原理貝葉斯定理貝葉斯定理的一個簡單例子貝葉斯分類的原理與特點樸素貝葉斯分類高斯樸素貝葉斯分類算法高斯樸素貝葉斯分類算法的原理多項式樸素貝葉斯分類算法伯努利樸素貝葉斯分類算法樸素貝葉斯法是典型的生成學習方法。生成方法由訓練數據學習聯(lián)合概率分布??(??,??)，然后求得后驗概率分布??(??|??)。具體來說，利用訓練數據學習??(??|??)和??(??)的估計，得到聯(lián)合概率分布：??(??,??)＝??(??|??)??(??)貝葉斯公式：貝葉斯定理樸素貝葉斯貝葉斯分類器的分類原理貝葉斯定理貝葉斯定理的一個簡單例子貝葉斯分類的原理與特點樸素貝葉斯分類高斯樸素貝葉斯分類算法高斯樸素貝葉斯分類算法的原理多項式樸素貝葉斯分類算法伯努利樸素貝葉斯分類算法男生總是穿長褲，女生則一半穿長褲一半穿裙子，男生占比60%，女生占比40%：正向概率：隨機選取一個學生，穿長褲的概率和穿裙子的概率是多大？逆向概率：迎面走來一個穿長褲的學生，無法確定該學生的性別，請問該學生是女生的概率有多大?假設學校里面人的總數是U。穿長褲的男生：U*P(Boy)*P(Pants|Boy)，P(Boy)是男生的概率=60%。P(Pants|Boy)是條件概率，即在Boy的條件下，穿長褲的概率是多大，這里是100%穿長褲的女生：U*P(Girl)*P(Pants|Girl)。求解：穿長褲的總數：U*P(Boy)*P(Pants|Boy)+U*P(Girl)*P(Pants|Girl)？與總人數有關嗎？貝葉斯案例如果一對男女朋友，男生想女生求婚，男生的四個特點分別是不帥，性格不好，身高矮，不上進，請你判斷一下女生是嫁還是不嫁？貝葉斯案例數學問題就是比較p(嫁|(不帥、性格不好、身高矮、不上進))與p(不嫁|(不帥、性格不好、身高矮、不上進))。解決方法求p(嫁|(不帥、性格不好、身高矮、不上進),這是我們不知道的，但是通過樸素貝葉斯公式可以轉化為好求的三個量，p(不帥、性格不好、身高矮、不上進|嫁)、p（不帥、性格不好、身高矮、不上進)、p(嫁)。其中p(不帥、性格不好、身高矮、不上進|嫁)=p(不帥|嫁)*p(性格不好|嫁)*p(身高矮|嫁)*p(不上進|嫁)。樸素貝葉斯案例公式整理如下：p(嫁)=6/12（總樣本數）=1/2樸素貝葉斯案例p(不帥|嫁)=3/6=1/2在嫁的條件下，看不帥的數據。樸素貝葉斯案例帥性格好身高上進是否嫁不帥好高上進嫁不帥好中上進嫁不帥不好高上進嫁=(1/2*1/6*1/6*1/6*1/2)/(1/3*1/3*7/12*1/3)樸素貝葉斯案例用同樣方法來求p(不嫁|不帥，性格不好，身高矮，不上進)。p(不嫁|不帥、性格不好、身高矮、不上進)=((1/6*1/2*1*1/2)*1/2)/(1/3*1/3*7/12*1/3)(1/6*1/2*1*1/2)>(1/2*1/6*1/6*1/6*1/2)于是有p(不嫁|不帥、性格不好、身高矮、不上進)>p(嫁|不帥、性格不好、身高矮、不上進)。樸素貝葉斯案例樸素貝葉斯貝葉斯分類器的分類原理貝葉斯定理貝葉斯定理的一個簡單例子貝葉斯分類的原理與特點樸素貝葉斯分類高斯樸素貝葉斯分類算法高斯樸素貝葉斯分類算法的原理多項式樸素貝葉斯分類算法伯努利樸素貝葉斯分類算法優(yōu)點:在數據較少的情況下仍然有效，可以處理多類別問題。缺點:對于輸入數據的準備方式較為敏感。適用數據類型:標稱型數據。貝葉斯原理特點

樸素貝葉斯貝葉斯分類器的分類原理貝葉斯定理貝葉斯定理的一個簡單例子貝葉斯分類的原理與特點樸素貝葉斯分類高斯樸素貝葉斯分類算法高斯樸素貝葉斯分類算法的原理多項式樸素貝葉斯分類算法伯努利樸素貝葉斯分類算法樸素貝葉斯（NaiveBayes）模型,它是一種基于概率的學習方法，“樸素”指的是條件的獨立性。由訓練數據學習聯(lián)合概率分布??(??,??)，然后求得后驗概率分布??(??|??)。具體來說，利用訓練數據學習??(??|??)和??(??)的估計，得到聯(lián)合概率分布：??(??,??)＝??(??)??(??|??)概率估計方法是極大似然估計或貝葉斯估計。樸素貝葉斯分類器樸素貝葉斯法的基本假設是條件獨立性。P(X=x|Y=ck)=Px(1),?,x(n)|yk=?jn=1Px(j)|Y=ckck代表類別，k代表類別個數。這是一個較強的假設。由于這一假設，模型包含的條件概率的數量大為減少，樸素貝葉斯法的學習與預測大為簡化。因而樸素貝葉斯法高效，且易于實現(xiàn)。其缺點是分類的性能不一定很高。樸素貝葉斯原理樸素貝葉斯貝葉斯分類器的分類原理貝葉斯定理貝葉斯定理的一個簡單例子貝葉斯分類的原理與特點樸素貝葉斯分類高斯樸素貝葉斯分類算法高斯樸素貝葉斯分類算法的原理多項式樸素貝葉斯分類算法伯努利樸素貝葉斯分類算法高斯樸素貝葉斯適用于連續(xù)變量，其假定各個特征

在各個類別y下是服從正態(tài)分布的，算法內部使用正態(tài)分布的概率密度函數來計算概率。公式如下：其中

：在類別為y的樣本中，特征

的均值。

：在類別為y的樣本中，特征

的標準差。高斯樸素貝葉斯分類算法原理樸素貝葉斯貝葉斯分類器的分類原理貝葉斯定理貝葉斯定理的一個簡單例子貝葉斯分類的原理與特點樸素貝葉斯分類高斯樸素貝葉斯分類算法高斯樸素貝葉斯分類算法的原理多項式樸素貝葉斯分類算法伯努利樸素貝葉斯分類算法多項式貝葉斯基于原始的貝葉斯理論，但假設概率分布是服從一個簡單多項式分布。多項式分布來源于統(tǒng)計學中的多項式實驗，這種實驗可以具體解釋為：實驗包括n次重復試驗，每項試驗都有不同的可能結果。在任何給定的試驗中，特定結果發(fā)生的概率是不變的。多項式樸素貝葉斯算法原理測試編號X1:出現(xiàn)正面X2:出現(xiàn)反面001110210樸素貝葉斯貝葉斯分類器的分類原理貝葉斯定理貝葉斯定理的一個簡單例子貝葉斯分類的原理與特點樸素貝葉斯分類高斯樸素貝葉斯分類算法高斯樸素貝葉斯分類算法的原理多項式樸素貝葉斯分類算法伯努利樸素貝葉斯分類算法伯努利樸素貝葉斯分類器主要用于文本分類。伯努利樸素貝葉斯,其