煙霧識別方法設(shè)計案例概述目錄TOC\o"1-3"\h\u28345煙霧識別方法設(shè)計案例概述 1135221.1基本原理與框架 1206061.2DENVGG_ATT網(wǎng)絡(luò)概述 2210591.3稠密網(wǎng)絡(luò)塊 3129391.4通道注意力機制 4299801.5改進的融合網(wǎng)絡(luò) 616901.5.1Mynet1網(wǎng)絡(luò)概述 6318041.5.2Mynet2網(wǎng)絡(luò)概述 7153481.6網(wǎng)絡(luò)參數(shù)優(yōu)化 8322891.7實驗結(jié)果與分析 11189601.7.1數(shù)據(jù)集 11111491.7.2相關(guān)評估參數(shù)指標(biāo) 122971.7.3實驗結(jié)果 12針對早期火災(zāi)煙霧預(yù)警效果較差，實時性低的問題，本章提出了一種基于DENVGG_ATT網(wǎng)絡(luò)的煙霧識別方法[43]。本章算法借鑒了煙霧識別網(wǎng)絡(luò)的部分框架，實現(xiàn)了VGG16網(wǎng)絡(luò)與稠密網(wǎng)絡(luò)塊以及通道注意力機制的結(jié)合應(yīng)用，既可以發(fā)揮了深度學(xué)習(xí)算法強大的學(xué)習(xí)能力優(yōu)勢，又提高了目標(biāo)識別網(wǎng)絡(luò)的準(zhǔn)確率與魯棒性。本章介紹了算法的整體框架，包括詳細(xì)的設(shè)計原理，并對算法中一些核心算法進行了詳細(xì)說明，最后對DENVGG_ATT網(wǎng)絡(luò)的實驗結(jié)果進行了比較?；驹砼c框架基于深度學(xué)習(xí)的特征提取算法相比于傳統(tǒng)的機器學(xué)習(xí)算法，提取效果更精確，場景適應(yīng)度更高，它的權(quán)值共享、局部連接使得它的模型復(fù)雜度降低，能完成目標(biāo)識別和檢測的任務(wù)[44]。由于早期煙霧目標(biāo)特征多變，形態(tài)不定且場景干擾物過多，用傳統(tǒng)的煙霧檢測方法檢測難度較大，早期火災(zāi)煙霧預(yù)警效果較差，實時性低，因此基于深度學(xué)習(xí)的特征提取算法尤其適合煙霧檢測，但是隨著網(wǎng)絡(luò)層數(shù)的增加，網(wǎng)絡(luò)參數(shù)增加，模型計算量也變大，計算錯誤增加，易造成梯度爆炸，不滿足實際的場景需求，因此選擇一個層數(shù)多但是減少計算時間、提高模型效率的網(wǎng)絡(luò)是我們的研究早期煙霧檢測算法的目的。VGG16結(jié)構(gòu)簡潔，但是隨著網(wǎng)絡(luò)層數(shù)增加導(dǎo)致網(wǎng)絡(luò)參數(shù)量變多，易造成資源浪費，誤差增大，影響網(wǎng)絡(luò)識別性能，且網(wǎng)絡(luò)的連接方式對特征的學(xué)習(xí)影響較大，因此本章在VGG16網(wǎng)絡(luò)的基礎(chǔ)上，結(jié)合了稠密網(wǎng)絡(luò)塊以及通道注意力機制，提出了基于DENVGG_ATT網(wǎng)絡(luò)的煙霧識別方法。煙霧識別網(wǎng)絡(luò)首先搜集不同場景下的煙霧圖像和非煙霧圖像，將其組合成煙霧數(shù)據(jù)集，并放入到改進的煙霧識別網(wǎng)絡(luò)中去訓(xùn)練，得到一個已經(jīng)訓(xùn)練好的識別率高、漏檢率低且響應(yīng)時間快速的煙霧識別網(wǎng)絡(luò)，然后將現(xiàn)實場景中的監(jiān)控視頻切成幀序列經(jīng)過識別網(wǎng)絡(luò)訓(xùn)練，最后進行煙霧目標(biāo)的識別?；贒ENVGG_ATT網(wǎng)絡(luò)的煙霧識別算法總體流程如圖3-1所示。圖3-1總體流程網(wǎng)絡(luò)訓(xùn)練分為幾個階段，第一個階段是圖像的預(yù)處理階段，由于圖像的尺寸不固定，因此將尺寸統(tǒng)一調(diào)整大小為224×224；第二個階段是網(wǎng)絡(luò)構(gòu)建，構(gòu)建過程在VGG16模型的基礎(chǔ)上，在部分卷積層之間增加稠密網(wǎng)絡(luò)塊以及增加通道注意力機制構(gòu)成DENVGG_ATT識別網(wǎng)絡(luò)，對圖像特征大小進行訓(xùn)練提取，并進行模型的訓(xùn)練，細(xì)微調(diào)整相關(guān)參數(shù)的大小，得到訓(xùn)練好的煙霧識別模型，最后一個階段將經(jīng)過煙霧視頻幀放入到網(wǎng)絡(luò)中進行模型預(yù)測，最終得出識別結(jié)果。DENVGG_ATT網(wǎng)絡(luò)概述本文提出了基于DENVGG_ATT煙霧識別網(wǎng)絡(luò)，在煙霧識別算法中表現(xiàn)較好，主要通過在VGG16網(wǎng)絡(luò)的主干結(jié)構(gòu)上增加稠密網(wǎng)絡(luò)塊以及通道注意力機制提高煙霧識別精度，降低識別時間，提高算法的可行度。通過對卷積網(wǎng)絡(luò)每一層輸出進行參數(shù)優(yōu)化，提取中間層比較明顯的特征；利用了稠密網(wǎng)絡(luò)的密集連接方式增強信息和梯度的傳輸速率，提高了網(wǎng)絡(luò)識別能力；增加了注意力機制作用在相應(yīng)特征位置或維度的權(quán)重信息，以獲得圖像更多的特征。與其它使用較大卷積核來進行特征提取的網(wǎng)絡(luò)相比，VGG16是一種利用小尺寸卷積核代替較大尺寸卷積核的16層網(wǎng)絡(luò)模型，有助于局部特征的提取同時可以提取到更加抽象的高階特征。基于DENVGG_ATT煙霧識別網(wǎng)絡(luò)結(jié)構(gòu)如圖3-2所示。圖3-2基于DENVGG_ATT煙霧識別網(wǎng)絡(luò)本章構(gòu)建的網(wǎng)絡(luò)模型一共包含了7個卷積層，兩個稠密網(wǎng)絡(luò)塊，四個池化層以及兩個全連接層，設(shè)置了三種不同大小的濾波器，分別為3×3、1×1+3×3、1×1，卷積塊是由三個卷積層組成，使用的是最大池化層得到圖像特征。對訓(xùn)練集所有的數(shù)據(jù)進行歸一化，保證每張圖片的維度一致，我們這里統(tǒng)一將圖片尺寸設(shè)置為224×224×3，得到網(wǎng)絡(luò)的輸入尺寸。稠密網(wǎng)絡(luò)塊本文在VGG16網(wǎng)絡(luò)的基礎(chǔ)上引入了可進行特征重利用的稠密網(wǎng)絡(luò)塊DB（Dense_Block），它以其特有的密集連接機制受到了研究學(xué)者的喜愛，在多種領(lǐng)域被廣泛使用。它的原理是把前一個稠密塊的所有信息輸入到當(dāng)前塊的所有卷積層上進行特征提取，這樣做的目的是把全部特征加進來，而且越往后特征信息就越多，不僅增強了信息和梯度的傳輸速率，還提高了網(wǎng)絡(luò)識別能力，不僅減少了算法的計算誤差，還降低了網(wǎng)絡(luò)的運算量，對網(wǎng)絡(luò)的運算效率也有所提高。DB結(jié)構(gòu)主要包含稠密塊BL(Bottleneck_Layer)和過渡層TL(Transition_Layer)，BL的作用主要是控制層與層之間的緊密連接來實現(xiàn)特征重利用，增強圖像的細(xì)節(jié)提取和提高卷積神經(jīng)網(wǎng)絡(luò)的傳輸效率，避免資源的浪費；過渡層的作用是通過控制網(wǎng)絡(luò)的通道數(shù)來防止溢出。Dense_Block網(wǎng)絡(luò)圖如圖3-3所示。圖3-3Dense_Block網(wǎng)絡(luò)圖DB網(wǎng)絡(luò)的基本結(jié)構(gòu)包括：歸一化BN(Batch_Normalization)、激活函數(shù)ReLU(RectifiedLinearUnit)、卷積核為1×1的卷積運算和卷積核為3×3的卷積運算。當(dāng)前網(wǎng)絡(luò)層的輸入數(shù)據(jù)均來自前面所有的網(wǎng)絡(luò)層，這種連接方式不僅加快了網(wǎng)絡(luò)的傳遞效率，也使網(wǎng)絡(luò)更容易訓(xùn)練。本文使用的DB采用的線性組合函數(shù)BN+ReLU+1×1Conv和BN+ReLU+3×3Conv的結(jié)構(gòu)，這樣可以減少網(wǎng)絡(luò)中特征圖的數(shù)量，降低了計算量，也能對各個通道的特征進行融合提取，而且在相鄰DB中增加了1×1卷積操作來壓縮相關(guān)參數(shù)。通道注意力機制本文在稠密網(wǎng)絡(luò)塊的BL結(jié)構(gòu)中引入了可進行端到端訓(xùn)練的通道注意力機制Chanl_Att（ChannelAttentionMechanism）。計算機視覺中的注意力機制[45]可以讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到目標(biāo)的重點特征而忽略無關(guān)特征，從而增強網(wǎng)絡(luò)的特征提取效果。因此，為了提高網(wǎng)絡(luò)性能，增強泛化能力，本文引入了Chanl_Att，可通過作用在相應(yīng)特征位置或維度的權(quán)重信息，來獲得圖像更多的特征。由于網(wǎng)絡(luò)中激活層輸出特征的微小變化會對最后的融合結(jié)果造成比較大的影響，需要規(guī)整性比較好的特征來防止過擬合，因此本文在注意力機制中增加了歸一化對特征圖進行規(guī)整，從而得到穩(wěn)定的圖像表示。改進后的Chanl_Att如圖3-4所示。圖3-4改進后的模塊圖在Chanl_Att中，對于一張輸入的二維圖像，經(jīng)過BL的激活層輸出的特征表示為Chanl_Att的輸入。本文使用的是L2歸一化，L2歸一化可以利用神經(jīng)網(wǎng)絡(luò)中的運算實現(xiàn)，其運算表達式見式（3-1）。xi其中，xi是輸入特征，x是進行規(guī)整后的輸入特征，xx2其中，m是進行L2歸一化的數(shù)據(jù)的樣本數(shù)量。在本文引入的Chanl_Att中，L2歸一化層接在全局平均池化層的輸入前面，輸入為稠密塊的激活函數(shù)的輸出結(jié)果，輸出為進行歸一化后的結(jié)果。將進行歸一化后得到的特征圖通過全局平均池化計算，每個通道都會得到各自的全局信息。公式見式（3-3）。zd其中，ud是尺寸為W×H×D的特征圖，輸出結(jié)果則表示長度為D的一維數(shù)組，zs=Fz,w其中，w1，w2是不同的全連接層，φ是ReLU激活函數(shù)，xdsd為第D個通道對應(yīng)的特征權(quán)重，x改進的融合網(wǎng)絡(luò)本章以DENVGG_ATT網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，設(shè)置不同主干結(jié)構(gòu)的檢測網(wǎng)絡(luò)Mynet1、Mynet2，本文設(shè)計的網(wǎng)絡(luò)均能夠自動學(xué)習(xí)目標(biāo)的特征，設(shè)置合適的學(xué)習(xí)率，主要包括梯度計算和參數(shù)更新，以下將一一介紹不同主干結(jié)構(gòu)的網(wǎng)絡(luò)。Mynet1網(wǎng)絡(luò)概述網(wǎng)絡(luò)結(jié)構(gòu)不同會造成網(wǎng)絡(luò)效果、實驗結(jié)果不同，針對煙霧檢測網(wǎng)絡(luò)，本文設(shè)計了主干結(jié)構(gòu)不同的網(wǎng)絡(luò)Mynet1，其網(wǎng)絡(luò)結(jié)構(gòu)組成如表3-1所示。表3-1Mynet1模型參數(shù)配置序號類別特征圖數(shù)核大小步長輸出維度Input輸入層3224×224×3C1卷積層243×32112×112×24M1池化層243×3255×55×24D2稠密塊482×2227×27×48C3卷積層1281×1127×27×128C3卷積層1281×1127×27×128M3池化層1282×2213×13×128D4稠密塊1362×226×6×136C5卷積層3201×116×6×320表3-1Mynet1模型參數(shù)配置（續(xù)）C5卷積層3201×116×6×320C5卷積層3201×116×6×320M5池化層3202×223×3×320D6稠密塊7042×213×3×704M6池化層7043×321×1×704FC全連接層神經(jīng)元個數(shù)：704Output輸出層神經(jīng)元個數(shù)：2Mynet1共有三個稠密卷積塊，最大池化結(jié)構(gòu)得到網(wǎng)絡(luò)的特征向量，全連接層輸出的網(wǎng)絡(luò)特證數(shù)減少。Mynet2網(wǎng)絡(luò)概述與其他采用單個卷積核尺寸的網(wǎng)絡(luò)相比，本節(jié)設(shè)計的Mynet2網(wǎng)絡(luò)采用的是將多個不同尺寸的卷積核進行融合疊加，首先將5×3的Conv層與1×3的Conv層進行二維卷積操作，其次將3×5的Conv層與1×3的Conv層進行二維卷積操作，其中，兩次卷積的Stride為1，特征圖尺寸未發(fā)生變化，因此可將兩次二維卷積操作的結(jié)果疊加得到卷積結(jié)果。主要結(jié)構(gòu)如圖3-5所示。圖3-5Mynet2卷積層結(jié)構(gòu)與重復(fù)使用3×3尺寸的其他網(wǎng)絡(luò)結(jié)構(gòu)不同，Mynet2使用多個不同尺寸進行疊加，首先將5×3的卷積核和1×3的卷積核融合后進行2D卷積運算，將尺寸為3×5卷積核和1×3的卷積核融合后同樣進行2D卷積運算，將兩個經(jīng)過卷積運算的結(jié)果進行concat運算，并得到最終卷積層的輸出。引入了新的卷積層的網(wǎng)絡(luò)模型結(jié)構(gòu)如表3-2所示。表3-2Mynet2模型參數(shù)序號類別特征數(shù)核大小步長輸出維度Input輸入層3224×224×3C1卷積層243×32112×112×24M1池化層243×3255×55×24D2稠密塊481×1+3×3127×27×48C3卷積層965×3+1×3227×27×96C3卷積層1925×3+1×3227×27×192M3池化層1922×2113×13×192D4稠密塊1681×1+3×316×6×168C5卷積層3365×3+1×326×6×336M5池化層3362×223×3×336D6稠密塊7201×1+3×311×1×720FC全連接層神經(jīng)元個數(shù)：720Output輸出層神經(jīng)元個數(shù)：2與DENVGG_ATT和Mynet1算法相比，增加了新的卷積結(jié)構(gòu)后，雖然網(wǎng)絡(luò)的層數(shù)和前兩個網(wǎng)絡(luò)并未發(fā)生改變，但是特征圖數(shù)明顯減少了，輸出的維度也降低，降低了參數(shù)的計算量，能更快的訓(xùn)練網(wǎng)絡(luò)。網(wǎng)絡(luò)參數(shù)優(yōu)化卷積核尺寸大小以及個數(shù)、池化卷積大小、步長、學(xué)習(xí)率、批量大小、激活函數(shù)等參數(shù)的設(shè)置對網(wǎng)絡(luò)識別的性能影響較大。經(jīng)過網(wǎng)絡(luò)訓(xùn)練以及參數(shù)調(diào)整之后，發(fā)現(xiàn)合適的參數(shù)取值在訓(xùn)練集和測試集的準(zhǔn)確性上表現(xiàn)出比較理想的效果，但是一部分經(jīng)驗數(shù)據(jù)參數(shù)不能滿足本網(wǎng)絡(luò)的需求，這是因為網(wǎng)絡(luò)結(jié)構(gòu)的不同，參數(shù)發(fā)生調(diào)整是很正常的事。神經(jīng)網(wǎng)絡(luò)的很多參數(shù)是經(jīng)驗數(shù)據(jù)，但是可以通過實驗進行驗證，本文使用組合不同的參數(shù)優(yōu)化網(wǎng)絡(luò)。為了找到適合本網(wǎng)絡(luò)最優(yōu)的三個參數(shù)，本小節(jié)分別對它們做了相應(yīng)的實驗，下表3-3、3-4、3-5給出了這三個參數(shù)的實驗結(jié)果。表3-3不同的批量數(shù)據(jù)LearningrateBatchSizeAR(%)0.0001899.120.00011698.330.00013298.270.00016498.010.000112897.32表3-4不同的學(xué)習(xí)率BatchSizeLearningrateAR(%)80.000199.1280.00199.0180.00299.0380.0198.3780.0298.56表3-5不同的棄權(quán)率LearningrateDropoutAR(%)0.00010.299.120.00010.399.050.00010.498.930.00010.598.670.00010.698.61由上面三張表得出，在固定學(xué)習(xí)率大小時，批量數(shù)據(jù)大小越大，煙霧識別的準(zhǔn)確率越低，說明批量數(shù)據(jù)大小在取最小值時效果最好；在固定學(xué)習(xí)率大小時，棄權(quán)率越高，煙霧識別的準(zhǔn)確率越低，說明批量數(shù)據(jù)大小在取最小值時效果最好。因此參數(shù)優(yōu)化后的學(xué)習(xí)率越高，煙霧檢測的準(zhǔn)確率先慢慢降低，后越變越高，說明批量數(shù)據(jù)結(jié)果是當(dāng)學(xué)習(xí)率為0.0001，批量數(shù)據(jù)大小為8，棄權(quán)率為0.2時，網(wǎng)絡(luò)效果最好。三種不同參數(shù)對AR的影響效果可以用曲線圖表示，曲線圖如圖3-6所示。BatchSize與AR關(guān)系圖Learningrate與AR關(guān)系圖c)Dropout對AR的影響圖3-6不同參數(shù)變化曲線圖經(jīng)過大量的實驗后得到了上圖的三個曲線圖，通過對比分析之后，可以發(fā)現(xiàn)準(zhǔn)確率隨著批量大小的升高而降低，隨著學(xué)習(xí)率的增加而降低，隨著棄權(quán)率的增加而降低，因此本實驗的學(xué)習(xí)率、棄權(quán)率和批量數(shù)據(jù)大小的取值對模型的準(zhǔn)確率更敏感。實驗結(jié)果與分析論文中的實驗都是基于目前實驗室已配置的硬件設(shè)施，本文實驗的運行環(huán)境是Ubuntu16.04，主機配置是i7-7600kCPU處理器和NvidiaGTX1070TiGPU顯卡，使用的環(huán)境是Python3.6、框架是TensorFlow來設(shè)計和訓(xùn)練網(wǎng)絡(luò)。詳細(xì)的軟硬件環(huán)境如表3-6所示。表3-6實驗室軟硬件環(huán)境詳情表軟硬件環(huán)境條件CPUi7-7600kGPUNvidiaGTX1070Ti內(nèi)存16G編程語言Python3.6圖像處理Opencv等系統(tǒng)Ubuntu16.04深度學(xué)習(xí)框架TensorFlow數(shù)據(jù)集在本次煙霧識別實驗中，由于煙霧公開數(shù)據(jù)集較少，本文在公開數(shù)據(jù)集.上增加了自己在網(wǎng)上搜索找到的圖片數(shù)據(jù)，共同組成本次實驗的數(shù)據(jù)集，公開數(shù)據(jù)集共包括2800張煙霧圖和2900張非煙霧圖，加上在網(wǎng)上搜索得到的圖，一共組成了16568張煙霧圖和6315張非煙霧圖。由于煙霧的濃度、面積以及距離等因素對實驗結(jié)果影響較大，因此本數(shù)據(jù)集中的煙霧場景包括不同濃度、不同面積以及不同距離。表3-7數(shù)據(jù)集詳細(xì)信息NameSmokenumbersNon-smokenumbersTrain149905217Test15781098Total165686315圖3-7部分相關(guān)數(shù)據(jù)圖數(shù)據(jù)集里面包含了不同場景里面的不同形狀及不同濃度、不同煙霧面積大小的數(shù)據(jù)，如煙霧、房間、樓道、戶外等場景。這些數(shù)據(jù)的詳細(xì)信息如上表3-7所示，部分?jǐn)?shù)據(jù)圖如上圖3-7所示。相關(guān)評估參數(shù)指標(biāo)為了衡量本文煙霧識別算法的有效性和高效性，我們使用識別率RR（DetectionRate），準(zhǔn)確率AR(AccuracyRate)、虛警率FAR（FalseAlarmRate）和精確度Pre（Precission）作為此次實驗的評估指標(biāo)，定義如下：RR=TAR=TFAR=TPre=1?FAR%(3-9)其中，Qp、Qn代表的是數(shù)據(jù)集中煙霧和非煙霧的數(shù)量，Tp表示煙霧數(shù)據(jù)中被正確檢測的數(shù)量，np表示煙霧數(shù)據(jù)中被錯誤檢測的數(shù)量，實驗結(jié)果本文的對比實驗將與當(dāng)前通用的網(wǎng)絡(luò)方法進行比較，分別是VGG16、DenseNet、Inception_v3三種網(wǎng)絡(luò)，本文方法包含了基于VGG16與Dense_Block融合的識別網(wǎng)絡(luò)、基于DENVGG_ATT網(wǎng)絡(luò)的煙霧識別方法以及改變了主干結(jié)構(gòu)的兩種算法，分別是Mynet1和Mynet2方法。為了方便實驗，以下分別稱為VGG16、DenseNet、DENVGG、DENVGG_ATT、Mynet1、Mynet2，本章的對比網(wǎng)絡(luò)均采用相同的輸入尺寸224×224×3保證實驗的公平性，時間是每張圖片的訓(xùn)練時間。實驗結(jié)果如表3-8所示。表3-8對比實驗表ModelNameRR(%)AR(%)FAR(%)Test_time(ms)VGG1697.3356DenseNet97.7397.802.40.071Inception_v