Hadoop平臺(tái)中支持向量機(jī)分類算法的實(shí)現(xiàn)導(dǎo)師:李學(xué)俊答辯人:齊夏新學(xué)號(hào)：E01214190專業(yè):軟件工程主要內(nèi)容1234156研究背景及意義Hadoop及SVM簡(jiǎn)介SVM原理SVM優(yōu)點(diǎn)及應(yīng)用舉例研究步驟時(shí)間進(jìn)度安排研究背景及意義

分類問(wèn)題是實(shí)際應(yīng)用中普遍存在的問(wèn)題，也是及其領(lǐng)域?qū)W習(xí)的基礎(chǔ)條件之一，快速發(fā)展的信息技術(shù)對(duì)其在理論研究和實(shí)際應(yīng)用中提出了許多新的難題和挑戰(zhàn)。支持向量機(jī)是建立在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上的新型機(jī)器學(xué)習(xí)方法。它根據(jù)有限樣本信息在模型的復(fù)雜和期望風(fēng)險(xiǎn)之間尋求最佳方式，從而獲得更好的泛化性能。支持向量機(jī)專門(mén)針對(duì)有限樣本情況,得到現(xiàn)有信息下的最優(yōu)解,很大程度上解決了模型選擇、過(guò)學(xué)習(xí)、非線性、維數(shù)災(zāi)難等問(wèn)題。與傳統(tǒng)的學(xué)習(xí)方法相比,支持向量機(jī)具有泛化能力強(qiáng)、維數(shù)不敏感、收斂到全局最優(yōu)等優(yōu)點(diǎn),較好地解決了傳統(tǒng)算法容易出現(xiàn)的過(guò)學(xué)習(xí)、局部極值、維數(shù)災(zāi)難等棘手問(wèn)題,成為近幾年機(jī)器學(xué)習(xí)領(lǐng)域中的一個(gè)非常活躍的研究熱點(diǎn)。Hadoop簡(jiǎn)介Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，具有高可靠性、高擴(kuò)展性、高效性、高容錯(cuò)性等優(yōu)點(diǎn)hadoop由兩部分組成，分別是分布式文件系統(tǒng)HDFS和分布式計(jì)算框架MapReduce。HDFS主要用于大規(guī)模數(shù)據(jù)的分布式存儲(chǔ)，而MapReduce則構(gòu)建在分布式文件系統(tǒng)之上，對(duì)存儲(chǔ)在分布式文件系統(tǒng)中的數(shù)據(jù)進(jìn)行分布式計(jì)算。HDFS是一個(gè)具有高度容錯(cuò)性的分布式文件系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。HDFS能提供高吞吐量的數(shù)據(jù)訪問(wèn)，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。HDFS架構(gòu)圖同HDFS一樣，HadoopMapReduce也采用了Master/Slave（M/S）架構(gòu)，它主要由以下幾個(gè)組件組成：Client、JobTracker、TaskTracker和Task。HadoopMapReduce架構(gòu)圖SVM簡(jiǎn)介支持向量機(jī)（SupportVectorMachine或SVM）是一種建立在統(tǒng)計(jì)學(xué)習(xí)理論StatisticalLearningTheory或SLT基礎(chǔ)上的機(jī)器學(xué)習(xí)方法。與傳統(tǒng)統(tǒng)計(jì)學(xué)相比，統(tǒng)計(jì)學(xué)習(xí)理論SLT是一種專門(mén)研究小樣本情況下及其學(xué)習(xí)規(guī)律的理論。該理論是建立在一套較堅(jiān)實(shí)的理論基礎(chǔ)之上的為解決有限樣本學(xué)習(xí)問(wèn)題提供了一個(gè)統(tǒng)一的框架。它能將許多現(xiàn)有方法納入其中有望幫助解決許多原來(lái)難以解決的問(wèn)題。SVM原理支持向量機(jī)SVM是一種分類算法，通過(guò)尋求結(jié)構(gòu)化風(fēng)險(xiǎn)最小來(lái)提高學(xué)習(xí)機(jī)泛化能力，實(shí)現(xiàn)經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍最小化，從而達(dá)到在統(tǒng)計(jì)樣本量較少的情況下，亦能獲得良好統(tǒng)計(jì)規(guī)律的目的。1.在n維空間中找到一個(gè)分類超平面，將空間上的點(diǎn)分類。SVM原理2.一般而言，一個(gè)點(diǎn)距離超平面的遠(yuǎn)近可以表示為分類預(yù)測(cè)的確信或準(zhǔn)確程度。SVM就是要最大化這個(gè)間隔值。而在虛線上的點(diǎn)便叫做支持向量SupprotVerctor。SVM優(yōu)點(diǎn)及舉例

SVM學(xué)習(xí)問(wèn)題可以表示為凸優(yōu)化問(wèn)題，因此可以利用已知的有效算法發(fā)現(xiàn)目標(biāo)函數(shù)的全局最小值。而其他分類方法（如基于規(guī)則的分類器和人工神經(jīng)網(wǎng)絡(luò)）都采用一種基于貪心學(xué)習(xí)的策略來(lái)搜索假設(shè)空間，這種方法一般只能獲得局部最優(yōu)解。應(yīng)用舉例：假設(shè)現(xiàn)在你是一個(gè)農(nóng)場(chǎng)主，圈養(yǎng)了一批羊群，但為預(yù)防狼群襲擊羊群，你需要搭建一個(gè)籬笆來(lái)把羊群圍起來(lái)。但是籬笆應(yīng)該建在哪里呢？你很可能需要依據(jù)牛群和狼群的位置建立一個(gè)“分類器”，比較下圖這幾種不同的分類器，我們可以看到SVM完成了一個(gè)很完美的解決方案。

研究步驟1.對(duì)所選課題進(jìn)行分析，Hadoop平臺(tái)中支持向量機(jī)分類算法的實(shí)現(xiàn)，了解Hadoop平臺(tái)，對(duì)資源管理模型（yarn），計(jì)算模型（mapreduce），存儲(chǔ)模型（hdfs）有一定的認(rèn)識(shí)。2.結(jié)合支持向量機(jī)的方法及其原理，利用分布式編程來(lái)實(shí)現(xiàn)支持向量機(jī)的分類算法，最后在分布式系統(tǒng)Hadoop中來(lái)運(yùn)行。3.完成支持向量機(jī)的分類算法，并在數(shù)據(jù)集中進(jìn)行測(cè)試。時(shí)間進(jìn)度安排1.2.21-3.21

學(xué)習(xí)Hadoop，mapreduce的概念及原理，準(zhǔn)備開(kāi)題報(bào)告2.3.22-4.10

開(kāi)題答辯。Hadoop集群操作，使用mapreduce編程實(shí)踐3.4.