11 1 1 2 3 3 3 5 6于分類的分類器訓(xùn)練，最后輸出分類結(jié)果54]。傳統(tǒng)的用于圖像分類特征，是人1.1特征融合原理22源異構(gòu)數(shù)據(jù)進行綜合處理，從而達到聯(lián)合決策的目的[55]。在計算機領(lǐng)域中，由于多源數(shù)據(jù)的結(jié)構(gòu)和含義不同，在數(shù)據(jù)處理時不能一概而論，必須經(jīng)過融合算法處理。在圖像分類領(lǐng)域，使用特征融合方法解決圖像分類問題，就是信息融合的思想。其內(nèi)容是使用融合算法融合圖像的多個特征(顏色、紋理、像素、SURF、HOG等),以便實現(xiàn)更智能的視覺圖像領(lǐng)域問題。隨著計算機硬件GPU、CPU的發(fā)展、軟件研究技術(shù)的推進，社會發(fā)展的越來越多元化，使得計算機處理的融合信息更加多樣，如何在大規(guī)模分布式計算、并行計算的環(huán)境下，通過信息數(shù)據(jù)融合使得分類器級推進到了特征級和數(shù)據(jù)級的圖像分類問題的解決過程一般包括數(shù)據(jù)獲取、預(yù)處理、特征提取、分類器設(shè)計與訓(xùn)練和分類決策等步驟，如圖1.1所示，信息融合的3個層次恰好可以與這個過程對應(yīng)。下圖分別從三個方面進行特征融合，首先可以在數(shù)據(jù)上進行融合，其次是在提取特征時，對特征進行融合。最后在設(shè)計分類器時，可以對分類其進特征融合保留了必要的、顯著的信息，既降低原始數(shù)據(jù)的冗余性，減少數(shù)據(jù)噪聲，又比分類器決策結(jié)果又更充分的數(shù)據(jù)信息，數(shù)據(jù)量和數(shù)據(jù)維度適中，因此在這個層次上進行融合是目前最優(yōu)的選擇。在圖像分類領(lǐng)域?qū)μ卣魅诤戏椒ǖ难芯堪ɑ谪惾~斯理論的特征融合、基于稀疏表示理論的特征融合算法等[54]。近年來，隨著深度學(xué)習(xí)理論的發(fā)展，基331.2.1基于貝葉斯理論的特征融合算法基于貝葉斯理論的特征融合算法是在分類器融合算法的基礎(chǔ)上發(fā)展起來的像類，記為Ω=(W?,…W.),未知樣本X由N維實數(shù)特征組成，記為X=[x?,x?,…xn]。根據(jù)最小錯誤率的貝葉斯決策理論，若將樣本X分為第j類，則該樣本就是在已知樣本X條件下后驗概率最大的模式類，這個決策過程表示為公式1.1:其中，p(wilx)表示第K類后的后驗概率，K∈[1,C]。1.2.2基于稀疏表示理論的特征融合算法即公式1.2的優(yōu)化問題。其中X是一個稀疏向量，且m遠小于n,優(yōu)化目標X的基于稀疏矩陣表示理論的特征融合算法是對樣本提取多特征后建立特征聯(lián)合稀1.2.3基于深度學(xué)習(xí)理論的特征融合算法44函數(shù)定義為公式1.3:加性融合函數(shù)yum=fsum(x“,x'),是對兩個特征圖對應(yīng)位置元素的值進行相對應(yīng)的位置元素較大的一個作為融合結(jié)果，即公式1.5所示卷積融合函數(shù)ycon=fcon(x“,x),是將級聯(lián)融合結(jié)果與濾波器f進行卷積運算，并且引入偏差值b,從而實現(xiàn)融合特征圖的降維處理，表示為公式1.6:并將融合后特征圖的通道數(shù)變?yōu)樵继卣鲌D的兩倍，如公式1.7所示：55雙線新融合函數(shù)yi=fbil(x“,x),是對兩個特征圖對應(yīng)的位置元素進行外積運算后求和，融合特征圖的通道數(shù)是原始特征圖通道數(shù)的平方，表示為1.8所示：1.3基于特征融合的印刷體圖像中關(guān)鍵字檢索以并行的方式分別提取輸入圖像的特征[56,再將提取的特征進行融合，該融合的方法是1.2.3節(jié)中論述的卷積特征融合的級聯(lián)特征融合方法。將融合后的特征CBAM和BAM提取特征，再將特征進行級聯(lián)融合。再輸入到GoogLent中，提局部特征局部特征全局特征66CBAM是由一個一維的通道注意力模塊Mc∈R××1和一個二維的空間注意BAM則是由通道注意力模塊M'c和空間注意力模塊M'并行構(gòu)成。與CBAM注意力模塊選擇增強還是減弱處于不同空間位置的特征。將特征圖像輸入BAM式中：M(a)=σ(M'(α)+M(a)),σ是sigmoid函數(shù)。1.4實驗結(jié)果分析與總結(jié)在本節(jié)中，展示實驗結(jié)果。本節(jié)使用第三章介紹過的15個數(shù)據(jù)集對該網(wǎng)絡(luò)模型進行訓(xùn)練。在本節(jié)中展示數(shù)據(jù)集11和數(shù)據(jù)集12訓(xùn)練模型的模型訓(xùn)練圖。下圖1.3為數(shù)據(jù)集11訓(xùn)練該模型的模型訓(xùn)練圖。test_losstestacc77圖1.4為數(shù)據(jù)集12訓(xùn)練該網(wǎng)絡(luò)模型訓(xùn)練圖。train__acc特征融合的網(wǎng)絡(luò)模型在所有的數(shù)據(jù)集訓(xùn)練中都收斂。從上圖可以看出，模型在數(shù)據(jù)集的訓(xùn)練下，模型在訓(xùn)練集和驗證集上的正確率都達到了99%,說明網(wǎng)絡(luò)模型穩(wěn)定(用于網(wǎng)絡(luò)訓(xùn)練、測試的數(shù)據(jù)集不變)。當訓(xùn)練集包含驗證集和測試集時，GoogLenet+CBAM+BAM模型的正確率與GoogLenet+CBAM3和GoogLenet網(wǎng)絡(luò)的正確率比較。下表1.1為模型在測試集上的正確率。模型一種字體漢字二種字體漢字上表模型在測試集上的正確率都很高，測試集在模型訓(xùn)練時已經(jīng)被訓(xùn)練過，因此再用模型進行測試時，模型的正確率都很高，也說明訓(xùn)練出來的網(wǎng)絡(luò)模型是穩(wěn)定的。其次GoogLenet+CBAM+BAM網(wǎng)絡(luò)模型在所有字體數(shù)據(jù)集下，正確率高于GoogLenet網(wǎng)絡(luò)和Googlenet+CBAM3網(wǎng)絡(luò)模型。用訓(xùn)練集不包含驗證集和測試集的測試集對該網(wǎng)絡(luò)模型進行測試，其結(jié)果如下表1.2所示。模型字體個數(shù)一種字體漢字二種字體漢字88在測試集上的正確率比GoogLenet模型高0.5%,比GoogLenet+CBAM3模型高1.4%。當字體為兩種字體的數(shù)據(jù)集時，GoogLenet+CBAM+BAM網(wǎng)絡(luò)模型在測試集上的正確率比GoogLenet模型高0.25%,比GoogLenet+CBAM3網(wǎng)絡(luò)模型高0.5%。當字體為三種字體的數(shù)據(jù)集時，GoogLenet+CBAM+BAM網(wǎng)絡(luò)模型比GoogLenet模型高1.7%,比GoogLenet+CBAM3模型高0.13%。表1.3是測試集模型一種字體漢字4.1%二種字體漢字23.1%只有一種字體時，GoogLenet+CBAM+BAM網(wǎng)絡(luò)模型比GoogLenet網(wǎng)絡(luò)模型高0.9%,比GoogLenet+CBAM3模型高1.4%。在訓(xùn)練集有兩種字體時，GoogLenet+CBAM+BAM模型比GoogLenet高13.6%,比GoogLenet+CBAM3模模型高1.9%,比GoogLenet+CBAM3高4.5%。用不同于訓(xùn)練集字體的包圖小白體作為測試集測試基于特征融合的網(wǎng)絡(luò)模型的正確率。其結(jié)果如下表1.4所示：模型一種字體漢字二種字體漢字不會提升。用不同于訓(xùn)練集字體的Dengl作型的正確率。其結(jié)果如下表1.5所示。99模型字體個數(shù)一種字體漢字二種字體漢字99.1%通過上表實驗結(jié)果可知，測試集為不同于訓(xùn)練集的dengl時，當訓(xùn)練集只有一種字體時，GoogLenet+CBAM+BAM模型比GoogLenet+CBAM3模型高26.6%。在訓(xùn)練集有兩種字體時，GoogLenet+CBAM+BAM網(wǎng)絡(luò)模型比GoogLenet模型高0.6%,比GoogLenet+CBAM3網(wǎng)絡(luò)模型高0.3%。在訓(xùn)練集有三種字體時，GoogLenet+CBAM+BAM網(wǎng)絡(luò)模型比GoogLenet模型高2.8%,比GoogLenet+CBAM3模型高0.2%。都高于GoogLenet和GoogLenet+CBAM3。因此將特征融合的印刷體圖像中關(guān)鍵取過程中關(guān)注的重點是特征較為明顯的區(qū)域。因此結(jié)合以上特點，將CBAM和BAM插入到GoogLenet網(wǎng)絡(luò)模型的第一層卷積層之前和第七層Inception