計算機應(yīng)用技術(shù)研究所1機器學(xué)習(xí)MachineLearning

2025/9/13計算機應(yīng)用技術(shù)研究所2第3章監(jiān)督學(xué)習(xí)

2025/9/13

本章學(xué)習(xí)內(nèi)容決策樹模型2貝葉斯模型3線性模型1支持向量機42025/9/13計算機應(yīng)用技術(shù)研究所4線性模型2025/9/13計算機應(yīng)用技術(shù)研究所5

線性模型

模型結(jié)構(gòu)線性回歸線性分類

2025/9/13

模型結(jié)構(gòu)

2025/9/13

模型結(jié)構(gòu)

2025/9/13

模型結(jié)構(gòu)2025/9/13計算機應(yīng)用技術(shù)研究所9

模型結(jié)構(gòu)線性回歸線性分類

線性模型2025/9/13

線性回歸

2025/9/13

線性回歸

2025/9/13

線性回歸

2025/9/13

線性回歸

2025/9/13

例題【例題3.1】某企業(yè)某商品月廣告費用與月銷售量數(shù)據(jù)如表3-1所示，試通過線性回歸模型分析預(yù)測這兩組數(shù)據(jù)之間的關(guān)系。

1234567891010.9512.1413.2213.8715.0616.3017.0117.9319.0120.0111.1810.4312.3614.1515.7316.4018.8616.1318.2118.371112131415161718192021.0422.1023.1724.0725.0025.9527.1028.0129.0630.0522.6119.8322.6722.7025.1625.5528.2128.1228.3229.18表3-1月廣告費與月銷售量數(shù)據(jù)2025/9/13

例題【解】首先將表中的樣本數(shù)據(jù)可視化，如下圖所示，不難發(fā)現(xiàn)它們基本上成直線排列。

2025/9/13

例題

2025/9/13

多重共線現(xiàn)象

嶺回歸

嶺回歸

嶺回歸

2025/9/13計算機應(yīng)用技術(shù)研究所21

模型結(jié)構(gòu)

線性回歸線性分類

線性模型

線性分類線性分類：將線性回歸模型輸出的連續(xù)值進行離散化。構(gòu)建線性分類器的關(guān)鍵：如何將線性回歸模型輸出的連續(xù)性取值進行離散化。

線性分類躍階函數(shù)：將線性回歸模型輸出值的取值范圍劃分為有限個不相交區(qū)間，每個區(qū)間表示一個類別，由此實現(xiàn)模型連續(xù)值輸出的離散化。激活函數(shù)：克服了躍階函數(shù)的不連續(xù)性，需要一些具有良好數(shù)學(xué)性質(zhì)的激活函數(shù)替代躍階函數(shù)，實現(xiàn)對連續(xù)值的離散化。

二值分類

二值分類的基本流程

二值分類

激活函數(shù)

激活函數(shù)

二值分類

二值分類

二值分類

例題

例題1-0.01814.0530211.2179.597041-0.4463.29712-1.3954.662122-0.7339.0980421.0426.10513-0.7526.539023-3.642-1.618143-0.61910.3204-1.3227.1530240.3163.5231441.1520.548150.42311.0550251.4169.6190450.8282.676160.4077.067126-0.3863.989146-1.23810.549070.66712.7410271.9853.230147-0.683-2.16618-2.4606.867128-1.693-0.5571480.2295.922190.5699.549029-0.57611.778049-0.9611.555010-0.02710.428030-0.346-1.6791500.49310.9930

表3-2某產(chǎn)品質(zhì)量指標(biāo)

例題110.8506.920131-2.1242.6721510.1858.7210121.34713.1750320.5578.295152-0.35610.3260131.1763.1671331.22511.587053-0.3988.058014-1.7819.098034-1.348-2.4061540.82513.7303015-0.5675.7491351.1974.9521551.5075.0281160.93161.5891360.2759.5440560.0996.837117-0.0246.1511370.4719.332057-0.34410.717018-0.0362.690138-1.8899.5430581.7867.718119-0.1970.444139-1.52812.15059-0.91911.560201.0145.754140-1.18511.309060-0.3644.7471

例題

線性判別分析基本思想：在特征空間中尋找一個合適的投影軸或投影直線，并將樣本的特性向量投影到該投影直線，使得樣本在該投影直線上易于分類。目標(biāo)：同類樣例的投影點盡可能接近；異類樣例的投影點盡可能遠離。

線性判別分析關(guān)鍵要點：投影直線方向的選擇。非最佳投影方向

最佳投影方向

線性判別分析

線性判別分析

線性判別分析

線性判別分析

線性判別分析

線性判別分析

線性判別分析

線性判別分析

線性判別分析

線性判別分析

線性判別分析

線性判別分析

例題

123456789104223496981024364108578是否合格是是是是是否否否否否表3-3

某產(chǎn)品質(zhì)量指標(biāo)

例題

例題

例題

2025/9/13計算機應(yīng)用技術(shù)研究所53決策樹模型計算機應(yīng)用技術(shù)研究所

決策樹模型

模型結(jié)構(gòu)判別標(biāo)準(zhǔn)模型構(gòu)造

模型結(jié)構(gòu)決策樹的基本思想：模擬人類進行級聯(lián)選擇或決策的過程，按照屬性的某個優(yōu)先級依次對數(shù)據(jù)的全部屬性進行判別，從而得到輸入數(shù)據(jù)所對應(yīng)的預(yù)測輸出。決策樹包含：一個根結(jié)點、若干內(nèi)部結(jié)點和葉結(jié)點。其中葉結(jié)點表示決策的結(jié)果；內(nèi)部結(jié)點表示對樣本某一屬性判別。測試序列：從根結(jié)點到某一葉子結(jié)點的路徑。

模型結(jié)構(gòu)例如，對于學(xué)生的周末安排，需要根據(jù)諸如有無作業(yè)、有無聚會和天氣是否適宜等因素做出安排或決策，左圖為一個決策樹模型；右圖為一個測試序列。（表示某種情況所對應(yīng)的決策結(jié)果）決策樹模型測試序列

例題【例題3.4】現(xiàn)有12枚外觀相同的硬幣，其中有1枚是假的且比真幣重。如何使用一個無砝碼天平把假幣找出來，要求不超過三次稱重。

例題【解】如下圖所示，把硬幣等分成三份，用天平分別對其中任意兩份進行稱重，確定假幣在哪一份。之后再對假幣所在的那一份進行等分，并通過稱重確定假幣在哪一份，直至找到假幣。

模型結(jié)構(gòu)決策樹構(gòu)造的基本思路：

首先根據(jù)某種分類規(guī)則得到最優(yōu)的劃分特征，計算最優(yōu)特征子函數(shù)，并創(chuàng)建特征的劃分節(jié)點，按照劃分節(jié)點將數(shù)據(jù)集劃分為若干部分子數(shù)據(jù)集；

然后，在子數(shù)據(jù)集上重復(fù)使用判別規(guī)則，構(gòu)建出新的節(jié)點，作為樹的新分支；

重復(fù)遞歸執(zhí)行，直到滿足遞歸終止條件。計算機應(yīng)用技術(shù)研究所

決策樹模型

模型結(jié)構(gòu)判別標(biāo)準(zhǔn)模型構(gòu)造

判別標(biāo)準(zhǔn)構(gòu)造決策樹的關(guān)鍵：合理選擇其內(nèi)部節(jié)點所對應(yīng)的樣本屬性，使得節(jié)點所對應(yīng)樣本子集中的樣本盡可能多地屬于同一類別，即具有盡可能高的純度。

判別標(biāo)準(zhǔn)決策樹判別標(biāo)準(zhǔn)：

第一，如果節(jié)點對應(yīng)數(shù)據(jù)子集中的樣本基本屬于同一個類別，則無需對節(jié)點的數(shù)據(jù)子集做進一步劃分，否則就要對該節(jié)點的數(shù)據(jù)子集做進一步劃分，生成新的判別標(biāo)準(zhǔn)；

第二，如果新判別標(biāo)準(zhǔn)能夠基本上把結(jié)點上不同類別的數(shù)據(jù)分離開，使得每個子結(jié)點都是類別比較單一的數(shù)據(jù)，那么該判別標(biāo)準(zhǔn)就是一個好規(guī)則，否則需重新選取判別標(biāo)準(zhǔn)。

判別標(biāo)準(zhǔn)

判別標(biāo)準(zhǔn)

判別標(biāo)準(zhǔn)

例題【例題3.5】表3-5所示的數(shù)據(jù)集表示豌豆種子在不同環(huán)境下能否發(fā)芽情況。豌豆種子自身有形狀、大小和種皮顏色等特征，外部影響環(huán)境有土壤、水分和日照等特征。試通過表3-5所示數(shù)據(jù)集構(gòu)建決策樹并根據(jù)最后一行測試數(shù)據(jù)預(yù)測該豌豆能否發(fā)芽。

例題編號形狀顏色大小土壤水份日照發(fā)芽1圓形灰色飽滿酸性多12小時以上否2圓形白色縊縮堿性少12小時以上是3皺形白色飽滿堿性多12小時以上否4皺形灰色飽滿酸性多12小時以下是5圓形白色縊縮堿性少12小時以下是6皺形灰色縊縮酸性少12小時以上是7圓形白色飽滿酸性少12小時以下是8皺形灰色縊縮堿性多12小時以下否9圓形灰色縊縮堿性少12小時以上否測試1圓形白色飽滿堿性多12小時以下？表3-5豌豆數(shù)據(jù)集

例題

例題

例題

例題顯然，水份屬性的信息增益最大，故選擇水份作為第一個劃分屬性，得到圖3-10所示的初始決策樹初始決策樹

例題

完整決策樹

例題用所得決策樹對測試1樣本進行預(yù)測?首先：“水份”為“多”，故進入左子樹；接著：“日照”在“12小時以下”進入左子；最后：“大小”為“飽滿”。判斷測試1樣本預(yù)測結(jié)果：能夠發(fā)芽。

判別標(biāo)準(zhǔn)信息增益問題：選擇結(jié)果通常會偏向取值狀態(tài)數(shù)目較多的屬性。信息增益率：解決信息增益問題，對信息增益進行歸一化。信息增益率在信息增益基礎(chǔ)上引入一個校正因子，消除屬性取值數(shù)目的變化對計算結(jié)果的干擾。

判別標(biāo)準(zhǔn)

判別標(biāo)準(zhǔn)

判別標(biāo)準(zhǔn)

判別標(biāo)準(zhǔn)

例題

例題

例題

計算機應(yīng)用技術(shù)研究所

決策樹模型

模型結(jié)構(gòu)判別標(biāo)準(zhǔn)模型構(gòu)造ID3算法三種經(jīng)典的決策樹生成算法：基于信息增益的ID3算法；基于信息增益率的C4.5算法；基于基尼指數(shù)的CART算法ID3算法：以信息增益最大的屬性為分類特征，基于貪心策略自頂向下地搜索遍歷決策樹空間，通過遞歸方式構(gòu)建決策樹。例題

例題編號體溫流鼻涕肌肉疼頭疼感冒1較高是是否是2非常高否否否否3非常高是否是是4正常是是是是5正常否否是否6較高是否否是7較高是否是是8非常高是是否是9較高否是是是10正常是否否否11正常是否是是12正常否是是是13較高否否否否14非常高否是否是15非常高否是否是16較高否否是是表3-6感冒診斷數(shù)據(jù)表例題

例題

例題

例題

例題得到完整決策樹：C4.5算法ID3算法缺點：不能處理連續(xù)值和缺失值。解決方法：提出了C4.5算法C4.5算法：信息增益率最大的屬性做為當(dāng)前節(jié)點的劃分屬

性。避免過擬合：引入剪枝策略。剪枝：從決策樹上裁剪掉一些子樹或者葉子結(jié)點，并將其根節(jié)點或父節(jié)點作為新的葉結(jié)點，從而簡化分類樹模型。決策樹剪枝策略有預(yù)剪枝和后剪枝兩種C4.5算法預(yù)剪枝：在決策樹生成過程中，對每個子集在劃分前先進行估計，若當(dāng)前結(jié)點的劃分不能帶來泛化性能的提升，則停止劃分并將當(dāng)前結(jié)點標(biāo)記為葉結(jié)點。后剪枝：先從訓(xùn)練樣本集生成一顆完整決策樹，然后自底向上或自上而下考察分支結(jié)點，若將該結(jié)點對應(yīng)子樹替換為葉結(jié)點能提升模型泛化性能，則進行替換。后剪枝可以保證剪枝操作不會降低決策樹模型的泛化性能，因此通常采用后剪枝策略。C4.5算法悲觀錯誤剪枝（PEP）算法的基本思想：1、考察每個內(nèi)部結(jié)點對應(yīng)子樹所覆蓋訓(xùn)練樣本的誤判率與剪去該子樹后所得葉結(jié)點對應(yīng)訓(xùn)練樣本的誤判率；2、比較二者間的大小關(guān)系確定是否進行剪枝操作；3、當(dāng)剪枝后所獲得葉子節(jié)點的誤判率小于所對應(yīng)的子樹誤判率時，進行剪枝。注：由于PEP算法直接通過訓(xùn)練樣本集對子樹和葉結(jié)點進行評估，導(dǎo)致子樹的誤判率一定小于葉結(jié)點的誤判率，得到在任何情況下都無需剪枝的錯誤結(jié)論。為避免出現(xiàn)這種錯誤結(jié)論，在計算誤判率時添加了一個經(jīng)驗性懲罰因子。C4.5算法

C4.5算法

C4.5算法

C4.5算法

例題

初始決策樹

例題

非葉結(jié)點是否剪枝25.582.68否10.552.14否5.531.60否4.541.92是4.510.95否表3-7參與PEP算法判別各項的取值表

例題

例題【例題3.7】某公司每年端午節(jié)都會組織公司員工進行龍舟比賽，舉行龍舟比賽通常要考慮天氣因素，若天氣情況糟糕，公司則會取消比賽?，F(xiàn)有2003~2016年端午節(jié)當(dāng)天的數(shù)據(jù)及天氣情況如表3-8所示，試根據(jù)該表中數(shù)據(jù)集使用C4.5算法構(gòu)建用于幫助公司判斷是否會取消龍舟比賽的決策樹。

例題日期1234567891011121314天氣晴晴陰雨雨雨陰晴晴雨晴陰陰雨溫度炎熱炎熱炎熱適中寒冷寒冷寒冷適中寒冷適中適中適中炎熱適中濕度高高高高正常正常正常高正常正常正常高正常高風(fēng)速弱強弱弱弱強強弱弱弱強強弱強活動取消取消進行進行進行取消進行取消進行進行進行進行進行取消

表3-8天氣情況表

例題

例題

例題

例題

例題

例題剪枝：對該決策樹所有分支點計算PEP算法參數(shù)，得到下表所示的計算結(jié)果。由表中數(shù)據(jù)可知當(dāng)前決策樹已是所求最優(yōu)決策樹，無需剪枝。非葉結(jié)點是否剪枝5.52.51.43否2.510.89否2.510.89否表3-9PEP算法參數(shù)和計算結(jié)果CART算法

CART算法

CART算法

CART算法

例題

編號12345678910123456789105.565.75.916.46.87.058.98.799.05表3-10訓(xùn)練樣本集

例題

例題

1.52.53.54.55.56.57.58.59.55.565.635.725.896.076.246.626.887.117.57.737.998.258.548.918.929.039.051.30870.7540.27710.43681.06441.30870.7540.27710.4368

例題

1.52.53.54.55.55.565.635.725.896.076.376.546.756.937.051.30870.7540.27710.43681.0644CCP方法

CCP方法

CCP方法

CCP方法

CCP方法

例題【例題3.9】表3-15為拖欠貸款人員訓(xùn)練樣本數(shù)據(jù)集，使用CART算法基于該表數(shù)據(jù)構(gòu)造決策樹模型，并使用表3-16中測試樣本集確定剪枝后的最優(yōu)子樹。

例題編號房產(chǎn)狀況婚姻情況年收入（千元）拖欠貸款1是單身125否2否已婚100否3否單身70否4是已婚120否5否離異95是6否已婚60否7是離異220否8否單身85是9否已婚75否10否單身90是表3-15拖欠貸款人員訓(xùn)練樣本數(shù)據(jù)集

例題編號房產(chǎn)狀況婚姻情況年收入（千元）拖欠貸款者1否已婚225否2否已婚50是3否單身89是4是已婚320否5

是離異150是6否離異70否表3-16拖欠貸款人員測試樣本數(shù)據(jù)集

例題

例題

例題

例題年收入特征具體做法如下：首先依據(jù)“年收入”特征取值對樣本進行升序排序，從小到大依次用“年收入”特征相鄰取值的均值作為劃分閾值，將訓(xùn)練樣本集劃分為兩個子集。結(jié)果如下表所示：

年收入607075859095100120125220中間值6572．58087．792．597．5110122．5172．5

是030303122130303030否162534343434435261Gini0.40.3750.3430.4170.40.30.3430.3750.4表3-17年收入特征的劃分方式與基尼指數(shù)取值表

例題

例題

例題

例題

例題

2025/9/13計算機應(yīng)用技術(shù)研究所134貝葉斯模型計算機應(yīng)用技術(shù)研究所

貝葉斯模型

貝葉斯方法

貝葉斯分類

貝葉斯回歸

貝葉斯方法

貝葉斯方法

貝葉斯方法

例題【例題3.10】某抽獎游戲使用三個外觀一致碗和三張抽獎劵，其中兩張1元劵和一張1000元劵。游戲主持人分別用每個碗蓋住一張劵且不讓抽獎?wù)咧烂總€碗蓋的是幾元劵，在抽獎?wù)哌x定一個碗之后翻開剩下兩個碗中的一個，使得翻開的碗蓋的是1元劵。抽獎?wù)呷绾芜x擇才能以較高的概率獲得1000元劵。

例題

例題

貝葉斯決策

貝葉斯決策

貝葉斯決策

例題

例題

例題

計算機應(yīng)用技術(shù)研究所

貝葉斯模型

貝葉斯方法

貝葉斯分類

貝葉斯回歸

貝葉斯分類貝葉斯分類模型：貝葉斯分類器、樸素貝葉斯分類器、半樸素貝葉斯分類器區(qū)別：不同的分類模型對模型中多個隨機變量之間條件獨立性假設(shè)有所不同。

貝葉斯分類器

例題

編號12345678910112222222244411111115555編號12131415161718192021

4444666666

5511010101010105

表3-18硬幣分類問題訓(xùn)練數(shù)據(jù)集

例題

1（角）5（角）10（角）1（角）00.50.95（角）0.200.610（角）0.10.20表3-19混淆矩陣取值表

例題

例題

例題

樸素貝葉斯分類器

樸素貝葉斯分類器

例題【例題3.13】假設(shè)有10個蘋果，表3-20為它們的體積、顏色、形狀和質(zhì)量數(shù)據(jù)，試根據(jù)該數(shù)據(jù)集構(gòu)造用于判別蘋果質(zhì)量的樸素貝葉斯分類器。編號12345678910體積小大大大大小大小小大顏色青紅紅青青紅青紅青紅形狀非圓非圓圓圓非圓圓非圓非圓圓圓質(zhì)量一般優(yōu)質(zhì)優(yōu)質(zhì)一般一般優(yōu)質(zhì)一般一般一般優(yōu)質(zhì)表3-20蘋果數(shù)據(jù)集

例題

例題

例題同理算得其它屬性取值狀態(tài)下最小貝葉斯風(fēng)險。綜上所述，可構(gòu)建如表3-21所示的樸素貝葉斯分類器。體積大大大大小小小小顏色紅紅青青紅紅青青形狀圓非圓圓非圓圓非圓圓非圓質(zhì)量優(yōu)質(zhì)優(yōu)質(zhì)一般一般優(yōu)質(zhì)一般一般一般表3-21樸素貝葉斯分類器分類結(jié)果表

半樸素貝葉斯分類器半樸素貝葉斯分類器：部分屬性之間存在依賴關(guān)系，通常采用一種名為獨依賴估計(ODE)的策略來表達樣本屬性之間的依賴關(guān)系。ODE策略的基本思想：假設(shè)樣本的每個屬性都可單獨依賴且僅依賴另外一個屬性，或者說樣本的每個屬性都可關(guān)聯(lián)且僅關(guān)聯(lián)一個對其產(chǎn)生一定影響的另一屬性。

半樸素貝葉斯分類器

半樸素貝葉斯分類器關(guān)鍵：如何確定每個屬性的依賴屬性。SPODE方法：指定某個屬性是所有其它屬性的依賴屬性，被指定依賴屬性名為超父。例如，可以指定風(fēng)向、云層厚度和顆粒物含量屬性全部依賴季節(jié)屬性，此時季節(jié)屬性就是一個超父。SPODE實現(xiàn)思路：首先分別讓每個屬性當(dāng)一次超父，然后通過帶標(biāo)簽的訓(xùn)練集找出使得預(yù)測誤差最小的超父，并將其作為所求模型的超父。

例題【例題3.14】試用表3-20所示蘋果數(shù)據(jù)集構(gòu)造判別蘋果品質(zhì)的半樸素貝葉斯分類器。編號12345678910體積小大大大大小大小小大顏色青紅紅青青紅青紅青紅形狀非圓非圓圓圓非圓圓非圓非圓圓圓質(zhì)量一般優(yōu)質(zhì)優(yōu)質(zhì)一般一般優(yōu)質(zhì)一般一般一般優(yōu)質(zhì)表3-20蘋果數(shù)據(jù)集

例題

例題

例題

例題最終所求半樸素貝葉斯分類器分類結(jié)果如表3-22所示。體積大大大大小小小小顏色紅紅青青紅紅青青形狀圓非圓圓非圓圓形非圓圓形非圓品相優(yōu)質(zhì)優(yōu)質(zhì)一般一般優(yōu)質(zhì)一般一般一般表3-22半樸素貝葉斯分類器分類表計算機應(yīng)用技術(shù)研究所

貝葉斯模型

貝葉斯方法

貝葉斯分類

貝葉斯回歸

貝葉斯回歸貝葉斯回歸與傳統(tǒng)線性回歸區(qū)別：不僅使用線性模型信息及樣本數(shù)據(jù)信息，還使用先驗概率分布信息。貝葉斯回歸步驟：

首先：對總體分布的未知參數(shù)給定一個先驗概率分布；

然后：通過貝葉斯公式將先驗概率分布、總體分布、樣本信息進行整合得到后驗概率分布；最后：由后驗概率分布構(gòu)建線性模型對目標(biāo)進行預(yù)測。

貝葉斯回歸

貝葉斯回歸

一元回歸模型

一元回歸模型

一元回歸模型

一元回歸模型

一元回歸模型

例題【例題3.15】某公司自2013年8月起在網(wǎng)購平臺營業(yè)，表3-25為該公司從2014年至2016年客流量和銷售量分季度數(shù)據(jù)。試用貝葉斯線性回歸方法預(yù)測該公司在2017年各季度的銷售數(shù)據(jù)。年份20142015123456278024192265198943351096284000202733115780078514641352891年份20152016789101112193745347777294308216352194490351546803167214969088351936表3-23銷售數(shù)據(jù)集

例題

例題其余預(yù)測結(jié)果如表3-24