在決策樹(shù)算法中，最為關(guān)鍵的兩個(gè)步驟是特征選擇和樹(shù)的剪枝?；蚧嶂笖?shù)(GiniIndex)等指標(biāo)來(lái)評(píng)估特征的重要性。分為預(yù)剪枝(Pre-pruning)和后剪枝(Post-pruning)兩種。預(yù)剪Forest)和梯度提升決策樹(shù)(GradientBoostingDecisionTree)具體來(lái)說(shuō)，在CIFAR-10數(shù)據(jù)集上，我們的改進(jìn)算法在保持較高準(zhǔn)確率的同時(shí)，運(yùn)行時(shí)間比傳統(tǒng)算法減少了約30%。這充分證明了我針對(duì)C5算法的過(guò)擬合問(wèn)題，我們引入了剪枝策略。剪枝策略可為若干個(gè)離散的區(qū)間，并根據(jù)區(qū)間的值將數(shù)據(jù)映射到相應(yīng)的類別我們探討了改進(jìn)后算法的應(yīng)用。我們將改進(jìn)后的C5算法應(yīng)用于本文針對(duì)C5算法存在的問(wèn)題進(jìn)行了改進(jìn)，并探討了改進(jìn)后算法等場(chǎng)景中，提高分類器的性能。未來(lái)我們將進(jìn)一步研究C5算法的優(yōu)類別(對(duì)于分類問(wèn)題)或一個(gè)具體數(shù)值(對(duì)于回歸問(wèn)題)。決策樹(shù)算決策樹(shù)方法最早產(chǎn)生于上世紀(jì)60年代，到70年代末。由JRossQuinlan提出了ID3算法，此算法的目的在于減少樹(shù)的深度。但是忽決策樹(shù)算法構(gòu)造決策樹(shù)來(lái)發(fā)現(xiàn)數(shù)據(jù)中蘊(yùn)涵的分類規(guī)則.如何構(gòu)造程，主要是用新的樣本數(shù)據(jù)集(稱為測(cè)試數(shù)據(jù)集)中的數(shù)據(jù)校驗(yàn)決策決策樹(shù)(decisiontree)是一種基本的分類與回歸方法。決策樹(shù)因?yàn)閺乃锌赡艿臎Q策樹(shù)中選取最優(yōu)決策樹(shù)是NP完全問(wèn)題，所下對(duì)訓(xùn)練數(shù)據(jù)有足夠分類能力的特征。(例如把名字不作為一個(gè)特征進(jìn)行選擇)InternationalConferenceonDataMining)在2006年12月評(píng)選4)根據(jù)當(dāng)前決策結(jié)點(diǎn)屬性取值的不同，將訓(xùn)練樣本數(shù)據(jù)集tlI②沒(méi)有剩余屬性可以用來(lái)進(jìn)一步劃分樣本.在這種情況下.使用③如果某一分枝tc,沒(méi)有滿足該分支中已有分類的樣本，則以邏輯判斷，如形式為a=aj的邏輯判斷，其中a是屬性，aj是該屬性可缺少的環(huán)節(jié)。尋找一棵最優(yōu)決策樹(shù)，主要應(yīng)解決以下3個(gè)最優(yōu)化問(wèn)(1)決策樹(shù)生成：基于訓(xùn)練數(shù)據(jù)集生成決策樹(shù)，生成的決策樹(shù)(2)決策樹(shù)剪枝：用驗(yàn)證數(shù)據(jù)集對(duì)己生成的樹(shù)進(jìn)行剪枝并選擇 19