基于SVM的信息融合新方法

摘要：利用SVM對大規(guī)模數(shù)據(jù)進(jìn)行訓(xùn)練時，需要占用很大的內(nèi)存空間，甚至?xí)騼?nèi)存不夠而無法訓(xùn)練。為此，提出了將大規(guī)模數(shù)據(jù)分塊求解，然后將分塊求解的結(jié)果進(jìn)行信息融合的新方法。首先訓(xùn)練得到各模塊的支持向量，將所有支持向量進(jìn)行融合，得到?jīng)Q策模型和一組支持向量。當(dāng)有新的數(shù)據(jù)加入時，將其作為一個子模塊，訓(xùn)練得到該模塊的支持向量，與原模型中獲得的支持向量進(jìn)行融合，訓(xùn)練得到新的決策模型。利用KDDCUP99數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，結(jié)果表明該方法的測試精度與在所有數(shù)據(jù)集上訓(xùn)練的精度相當(dāng)，花費(fèi)時間少，適用于增量學(xué)習(xí)。

關(guān)鍵詞：支持向量機(jī)；信息融合；增量學(xué)習(xí)

SVM[1，2]是最近發(fā)展起來的一種分類方法。它基于統(tǒng)計學(xué)習(xí)理論，根據(jù)結(jié)構(gòu)風(fēng)險最小化原則，在經(jīng)驗(yàn)風(fēng)險和模型的復(fù)雜度之間折中，有較強(qiáng)的泛化能力，且具有全局最優(yōu)、與維數(shù)無關(guān)等特性。當(dāng)數(shù)據(jù)線性不可分時，通過核函數(shù)，將數(shù)據(jù)映射到高維特征空間，使得數(shù)據(jù)線性可分。它本質(zhì)上是一個凸二次規(guī)劃問題，當(dāng)訓(xùn)練規(guī)模很大時，求解此最優(yōu)化問題要占用很大的內(nèi)存空間，會因內(nèi)存空間不夠而導(dǎo)致無法訓(xùn)練。解決此類問題的有效方法是將大規(guī)模數(shù)據(jù)進(jìn)行分塊，然后將各模塊的信息進(jìn)行融合，從而得到最終結(jié)果。

信息融合又稱數(shù)據(jù)融合，是利用計算機(jī)技術(shù)對獲得的若干節(jié)點(diǎn)的觀測信息在一定準(zhǔn)則下加以自動分析、綜合以完成所需的決策和估計任務(wù)而進(jìn)行的信息處理過程。文獻(xiàn)提出了用神經(jīng)網(wǎng)絡(luò)的方法來實(shí)現(xiàn)信息融合，在預(yù)測精度上獲得較好的效果。SVM是繼神經(jīng)網(wǎng)絡(luò)后，分類性能較好的一種技術(shù)。它在信息融合領(lǐng)域也逐漸得到應(yīng)用，文獻(xiàn)[5~7]提出了多種基于SVM的信息融合方法，用各模塊訓(xùn)練得到的模型對測試集進(jìn)行判別，然后融合各模型的判別結(jié)果。但這些方法不適合增量學(xué)習(xí)。當(dāng)有新的數(shù)據(jù)源加入時，融合模塊需重新執(zhí)行。

決策輸出融合方法和投票數(shù)融合方法用各模塊訓(xùn)練得到的分類器對測試集進(jìn)行判別，再根據(jù)判別結(jié)果進(jìn)行融合，分類精度上不如后兩種方法，所花費(fèi)的時間也較多。而且這兩種方法在增量學(xué)習(xí)中要對信息融合模塊重新處理，不能有效利用已有的信息。

對支持向量直接融合的方法在精度、漏報率和誤報率上均與在所有數(shù)據(jù)集上得到的結(jié)果相接近。說明在分類中起作用的只是其中占少數(shù)的支持向量，如表3所示。每個模塊得到的支持向量是很少的，大約占%。所以信息融合模塊的規(guī)模相對較小，花費(fèi)時間少。本文提出的方法預(yù)測精度甚至超過了對所有支持向量融合的結(jié)果，與在所有數(shù)據(jù)集上得到的結(jié)果最接近。說明本文方法在增量式學(xué)習(xí)中是有效的，具有較好的泛化能力。

4結(jié)束語

隨著網(wǎng)絡(luò)和數(shù)據(jù)庫技術(shù)的發(fā)展，對大規(guī)模數(shù)據(jù)處理的要求會越來越高。本文在研究了現(xiàn)有的基于SVM的信息融合方法的基礎(chǔ)上，提出了一種新的基于SVM融合的模型。通過實(shí)驗(yàn)表明，這種方法在入侵檢測問題中得到了較高的分類精度，與在所有數(shù)據(jù)或所有支持向量上預(yù)測得到的精度相當(dāng)，而且與其他信息融合方法相比，能利用已經(jīng)融合的信息，進(jìn)行增量式學(xué)習(xí)。但如何使數(shù)據(jù)分解后仍保證它的全局最優(yōu)及如何推廣到分布式應(yīng)用仍有待解決。

參考文獻(xiàn)：

[1]VAPIKV.統(tǒng)計學(xué)習(xí)理論的本質(zhì)[M].張學(xué)工,譯.北京:清華大學(xué)出版社,2000.

BURGESCJC.Atutorialonsupportvectormachinesforpatternrecognition[J].DataMiningandKnowledgeDiscovery,1998,2(2):121-167.

HALLDL,LLINASJ.Anintroductiontomultisensordatafusion[J].ProceedingsofIEEE,1997，85(1):6-23.

WANGMei,HOUYuanbin.Neuralnetworkmodelbasedonanti-errordatafusion[C]//Procofthe4thInternationalConferenceonMachineLearningandCybernetics.[]:IEEEPress,2005:18-21.

YANWeiwu,SHAOHuihe,WANGXiaofan.Paralleldecisionmodelsbasedonsupportvectormachinesandtheirapplicationtodistributedfaultdiagnosis[C]//ProcofAmericanControlConference.Denver:[],2003:1770-1775.

ZHAOShuhe.Remotesensingdatafusionusingsupportvectormachine[C]//Procof2004GeoscienceandRemoteSensing:[],2004:2575-2578.

HUZhonghui,CAIYunze,LIYuangui,etal.Datafusionforfaultdiagnosisusingmulticlasssupportvectormachines[J].JournalofZhejiangUniversityScience,2005,6A(10):1030-1039.

PLATTJC.Fasttrainingofsupportvectormachinesusingsequentialminimaloptimization[C]//ProcofAdvancesinKernelMethods:SupportVectorLearning.Cambridge:MITPress,1999:185-208.

HSUCW,LINCJ.Acomparisonofmethodsformulticlasssupportvectormachines[J].IEEETransactionsonNeuralNetworks,2002,46(13):415-425.

[10][DB/OL].[20