[14]引入了兩個約束條件，分別對卷積層的學(xué)習(xí)能力和學(xué)習(xí)必要性進(jìn)行評估。c?value=2l?ki=1li=1l2i?1(k?1)a公式（4.2）中，k為卷積核大小，ai為某一次池化與之前一次池化或輸入層之間的卷積層層數(shù)。l=(1,2,…)為池化下采樣的次數(shù)，i=1l2i?1(k?1)ai為最后一次池化的單個像素的感受野。該文獻(xiàn)指出，通過大量的學(xué)習(xí)經(jīng)驗表明，得出c-value本文的網(wǎng)絡(luò)模型以為89×100的灰度圖像作為輸入。該網(wǎng)絡(luò)包含7個卷積層，6個池化層和1個全連接層。其中卷積層采用2×2的卷積核，使用ReLU作為卷積層激活函數(shù)，池化方式為最大池化。最后是全連接層，該層起到分類作用。輸出層采用SoftMax方式。整個神經(jīng)網(wǎng)絡(luò)以25%的的概率對神經(jīng)元進(jìn)行Dropout操作，以防止過擬合。輸出層有5個參數(shù)，對應(yīng)著識別出的手勢分類的五種結(jié)果。該卷積神經(jīng)網(wǎng)絡(luò)模型的層次結(jié)構(gòu)如圖4-3所示。圖4-3本設(shè)計的網(wǎng)絡(luò)模型結(jié)構(gòu)前兩層卷積之間不進(jìn)行池化下采樣。后面每經(jīng)過一次卷積層，都會進(jìn)行一次最大池化。下面代入公式（4.2）和公式（4.3），計算網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的兩個約束條件對該網(wǎng)絡(luò)各層的學(xué)習(xí)能力和學(xué)習(xí)必要性評估。對卷積池化層的卷積核尺寸和層數(shù)代入公式c?value=2l?ki=1l然后是學(xué)習(xí)的必要性評估。此時運(yùn)用公式i=1l2i?1(k?1)ai≤z計算。顯而易見，公式左邊的值對于池化下采樣次數(shù)l是單調(diào)遞增的，可以取其最大值l=6進(jìn)行評估。將其代入得，該函數(shù)的值為64。選用的輸入圖像尺寸為89×100×1的單通道灰度圖，總共有8900個輸入?yún)?shù)，可以將其視為90×90確定好網(wǎng)絡(luò)模型結(jié)構(gòu)后，本設(shè)計使用TensorFlow2.0和OpenCV開源框架對其進(jìn)行封裝核保存。首先使用input_data()定義輸入層convnet，將輸入層規(guī)格設(shè)定為[89,100,1]，此時convnet為一個89×100×1的參數(shù)矩陣，接著使用conv_2d()方法與max_pool_2d()方法定義7層卷積和池化運(yùn)算，在輸入層convnet上累加更多的卷積池化層。然后，定義全連接層，使用fully_connected()方法，設(shè)定該層有1000個神經(jīng)元，激活函數(shù)為ReLU函數(shù)，在此基礎(chǔ)上使用dropout()方法，設(shè)定參數(shù)為0.75，即每一批訓(xùn)練中，每個神經(jīng)元有25%的概率暫時失效。最后，定義輸出層，使用fully_connected()方法，激活函數(shù)為softMax函數(shù)，設(shè)定神經(jīng)元數(shù)量為5，表示有5個輸出。對應(yīng)結(jié)果分別為為“分類為swing手勢的概率”，“分類為手掌的概率”，“分類為拳頭的概率”，“分類為Two手勢的概率”，“分類為OK手勢的概率”。4.2神經(jīng)網(wǎng)絡(luò)訓(xùn)練本部分首先講述了使用TensorFlow2.0和OpenCV開源框架對網(wǎng)絡(luò)進(jìn)行訓(xùn)練的過程。在數(shù)據(jù)集上對其進(jìn)行訓(xùn)練，統(tǒng)計出訓(xùn)練過程中總體損失TotalLoss與迭代次數(shù)Epoch的關(guān)系，以此來查看網(wǎng)絡(luò)模型訓(xùn)練的收斂速度。最后，根據(jù)精確率和召回率公式，統(tǒng)計出其在訓(xùn)練數(shù)據(jù)集上的訓(xùn)練結(jié)果并給出評價。4.2.1訓(xùn)練集導(dǎo)入訓(xùn)練集導(dǎo)入網(wǎng)絡(luò)的過程中，還需要對圖像進(jìn)行一次reshape，使其適應(yīng)特定的卷積神經(jīng)網(wǎng)絡(luò)輸入。本設(shè)計的卷積網(wǎng)絡(luò)輸入為89×100×1，故還需對導(dǎo)入的訓(xùn)練集進(jìn)行reshape。加載訓(xùn)練集圖像，定義loadedImages[]對象以存儲訓(xùn)練集圖像隊列，同時將圖像reshape為89×100，單通道的灰度圖。然后，定義訓(xùn)練集標(biāo)簽。定義outputVectors[]對象，將之前導(dǎo)入的訓(xùn)練集標(biāo)簽分別定義為[1,0,0,0,0]，[0,1,0,0,0]，[0,0,1,0,0]，[0,0,0,1,0]，[0,0,0,0,1]。4.2.2模型訓(xùn)練過程訓(xùn)練集導(dǎo)入后，其完全按照順序進(jìn)行排序，這會導(dǎo)致1000張輸入圖像完全是同一類別，模型訓(xùn)練過程會出現(xiàn)震蕩從而無法收斂。因此必須將輸入數(shù)據(jù)重新排序。本設(shè)計調(diào)用shuffle()方法，將訓(xùn)練集隊列隨機(jī)打亂順序。模型訓(xùn)練則調(diào)用fit()方法。最后是模型保存。調(diào)用model.save()方法，將訓(xùn)練好的model保存至指定路徑TrainedModel/GestureRecogModel.tfl中。最后導(dǎo)出訓(xùn)練過程中總體損失TotalLoss與迭代次數(shù)Epoch的關(guān)系。該模型經(jīng)過40次左右的迭代區(qū)域收斂。而在第73次時，由于震蕩而出現(xiàn)了短暫的梯度爆炸現(xiàn)象，這與該模型采用的ReLU激活函數(shù)有關(guān)。該激活函數(shù)能夠有效地防止梯度彌散，但不太適合解決梯度爆炸現(xiàn)象。但是由于該網(wǎng)絡(luò)模型選擇了一個比較小的學(xué)習(xí)率進(jìn)行迭代，使訓(xùn)練過程可以防止出現(xiàn)持續(xù)的震蕩?？梢钥闯觯降?9次時，該模型又繼續(xù)收斂。如圖4-4所示。圖4-4該模型的收斂速度4.2.3模型訓(xùn)練的效果本部分檢測該模型在訓(xùn)練數(shù)據(jù)集上的效果。對于1000×5的訓(xùn)練數(shù)據(jù)集，正確預(yù)測為swing手勢，手掌，拳頭，Two手勢和OK手勢的個數(shù)分別為994，1000，998，1000和992。而總共預(yù)測為swing手勢，手掌，拳頭，Two手勢和OK手勢的個數(shù)分別為1000，1004，1000，1000，996。由此可以計算該網(wǎng)絡(luò)進(jìn)行手勢分類的準(zhǔn)確率。準(zhǔn)確率分為精確率和召回率，其公式定義如下。P=TPTP+FP（4.R=TPTP+FN（4.式（4.4）和式（4.5）中，P為精確率，R為召回率，TP為把正類預(yù)測為正類的次數(shù)，F(xiàn)P為把負(fù)類預(yù)測成正類的次數(shù)，F(xiàn)N表示把正類預(yù)測為負(fù)類的次數(shù)。根據(jù)該公式據(jù)得出，swing手勢，手掌，拳頭，Two手勢和OK手勢預(yù)測的精確率分別為99.4%，99.6%，99.8%，100%和99.5%。而召回率分別為99.4%，100%，99.8%，100%和99.2%。因為該模型在訓(xùn)練過程中采用了Dropout方式隨機(jī)丟棄神經(jīng)元，減少了對訓(xùn)練集的過擬和，所以雖然準(zhǔn)確率未完全達(dá)到100%，但這樣的效果已經(jīng)非常好了。如表4-1所示。表4-1該模型在訓(xùn)練集上的效果手勢類別精確率召回率swing手勢99.4%99.4%手掌99.6%100%拳頭99.8%99.8%Two手勢100%100%OK手勢99.5%99.2%平均值99.6%99.8%4.3網(wǎng)絡(luò)模型測試4.3.1測試集本文選擇不同場景獲取測試集，分別為白色墻壁，宿舍，室外這三個場景。白色墻壁對應(yīng)簡單背景下的識別，宿舍場景則對應(yīng)背景中存在大量膚色相近區(qū)域情況下的識別，室外場景則對應(yīng)圖片背景和光影環(huán)境存在少量變化的手勢識別。每個場景的每種手勢獲取100測試樣本，共1500個訓(xùn)練樣本。對于同一場景的測試樣本，調(diào)用shuffle()方法將樣本本打亂順序后對其進(jìn)行測試。下面說明了本文對測試場景的選擇。第一行的兩張圖片為白色墻壁場景的輸入圖像和預(yù)處理圖像。第二行的兩張圖片為宿舍場景的的輸入圖像和預(yù)處理圖像。第三行的兩張圖片分別為室外場景的輸入圖像和預(yù)處理圖像?？梢钥闯?，白色墻壁場景這樣的純色背景下，OK手勢的二值化圖非常清晰且完整。而宿舍場景下的拳頭手勢雖然也被較好地分離了出來，但中間則出現(xiàn)了很多黑色的小塊，這是由于宿舍的背景更為復(fù)雜，所以于手勢部分灰度值相同的區(qū)域較多，進(jìn)行差分圖計算時，該部分與背景的差分值為0，所以呈現(xiàn)黑色。最后是室外場景下的Two手勢，可以看出食指部分被分成了斷續(xù)的幾節(jié)，且手勢外還有一些噪點(diǎn)。這是由于室外光影環(huán)境更為復(fù)雜，且經(jīng)常有行人車輛往來。即便有背景消除技術(shù)，仍然會不可避免地產(chǎn)生一些噪聲。圖4-5三種不同的測試場景4.3.2測試的過程和結(jié)果首先對測試集中白色墻壁場景的5×100張圖像進(jìn)行測試。正確預(yù)測為swing手勢，手掌，拳頭，Two手勢和OK手勢的個數(shù)分別為97，95，100，98和95。而總共預(yù)測為swing手勢，手掌，拳頭，Two手勢和OK手勢的個數(shù)分別為100，97，101，100，102。將上述數(shù)據(jù)代入精確率公式P=TPTP+FP和召回率公式R=TPTP+FN中可以得出，白色墻壁場景下swing手勢，手掌，拳頭，Two手勢和OK手勢預(yù)測的精確率分別為97.0%，97.9%，99.0%，100%和93.1%。而召回率分別為97%，95%，100%，100%和95%。由此可見，在純色背景下，手勢識別的準(zhǔn)確率較高，效果非常好?；窘咏谟?xùn)練集上的準(zhǔn)確率。尤其是Two手勢的識別精確率和召回率都達(dá)到了100%。由于Ok手勢較為復(fù)雜，使得其識別的精確率和召回率都較低。結(jié)果如表4-2表4-2白色墻壁場景下的準(zhǔn)確率手勢類別精確率召回率swing手勢97.0%97.0%手掌97.9%95.0%拳頭99.0%100%Two手勢98.0%100%OK手勢93.1%95.0%接著對測試集中宿舍場景的5×100張圖像進(jìn)行測試。正確預(yù)測為swing手勢，手掌，拳頭，Two手勢和OK手勢的個數(shù)為86，84，88，90和82。而分別對應(yīng)的全部預(yù)測個數(shù)為102，95，98，100，105。將上述數(shù)據(jù)代入精確率公式召回率公式中可以得出，相應(yīng)的各個類別的精確率分別為84.3%，88.4%，89.8%，90.0%和78.1%，而召回率分別為86%，84%，88%，90%和82%。由此可見，在復(fù)雜背景下的訓(xùn)練結(jié)果雖然相較于純色背景，其準(zhǔn)確率的確有所下降，其中OK手勢的精確率最低，是因為在復(fù)雜背景下，使用背景消除技術(shù)后會仍然產(chǎn)生一些難以消除的噪點(diǎn)，而OK手勢的輸入圖像最復(fù)雜，上部分包含了三個手指，而下部分也存在空洞，和背景處的噪點(diǎn)十分類似。所以對其它手勢識別后，容易把這些細(xì)微的噪音當(dāng)成是OK手勢的部分。但總而言之，其整體效果也較為理想。其結(jié)果如表4-3所示。表4-3宿舍場景下的準(zhǔn)確率手勢類別精確率召回率swing手勢84.3%86.0%手掌88.4%84.0%拳頭89.8%88.0%Two手勢90.0%90.0%OK手勢78.1%92.0%最后對室外場景的5×100張圖像進(jìn)行測試。確預(yù)測為swing手勢，手掌，拳頭，Two手勢和OK手勢的個數(shù)為82，84，78，80和82。而分別對應(yīng)的全部預(yù)測個數(shù)為102，97，96，99，106。將上述數(shù)據(jù)代入精確率公式召回率公式中可以得出，相應(yīng)的各個類別的精確率分別為80.4%，86.6%，81.2%，80.8%和77.3%。而召回率分別為82%，84%，78%，80%和82%。所有手勢的識別準(zhǔn)確率相較于前二者均有所下降。其中，OK手勢雖然識別精確率最低。其結(jié)果如表4-4所示。表4-4室外場景下的準(zhǔn)確率手勢類別精確率召回率swing手勢84.0%82.0%手掌86.6%84.0%拳頭81.2%78.0%Two手勢80.8%80.0%OK手勢77.3%82.0%下面對這三個場景下的識別準(zhǔn)確率進(jìn)行比較。白色墻壁場景下平均精確率為97.0%，召回率為97.4%。宿舍場景下平均精確率為86.1%，召回率為88%。室外場景下平均精確率為81.9%，召回率為81.2%。對這三個場景的手勢識別的準(zhǔn)確率再進(jìn)行平均，得到所有場景下所有手勢的識別的精確率為88.3%，召回率為88.8%。這些數(shù)據(jù)表明，該網(wǎng)絡(luò)模型在純色背景的情況下的識別效果最好，可以達(dá)到五個手勢類別的平均精確率和召回率都在97%以上。而在宿舍場景下，其效果就不如白色墻壁場景，這是因為宿舍場景的背景較為復(fù)雜，且有大量人體膚色相近的區(qū)域，進(jìn)行背景消除后仍會產(chǎn)生少量背景噪音，影響網(wǎng)絡(luò)模型判斷的結(jié)果。而室外場景下的背景同樣復(fù)雜，而且相較于室內(nèi)場景，其光影條件變化多樣，且不時有行人和車輛經(jīng)過，這對背景消除帶來的噪音影響更大。所以其手勢識別的準(zhǔn)確率比白色墻壁場景和室內(nèi)場景都低。表4-5各個場景下的所有類別的平均準(zhǔn)確率場景五個類別平均精確率五個類別平均召回率白色墻壁97.0%97.4%宿舍86.1%88.0%室外81.9%81.2%平均值88.3%88.8%4.4本章小結(jié)本章節(jié)主要講述了本章主要講述了該講解神經(jīng)網(wǎng)絡(luò)模型的設(shè)計過程和最后的測試結(jié)果。首先選定了卷積核的尺寸和池化下采樣的步長，然后設(shè)計了該講解神經(jīng)網(wǎng)絡(luò)模型中的卷積層和池化層的層數(shù)，并對該網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，展示了其迭代過程中的收斂速度，并統(tǒng)計其在訓(xùn)練集上對各手勢類別的精確率和召回率。最后是該神經(jīng)網(wǎng)絡(luò)模型的測試。再三個場景下獲取測試數(shù)據(jù)，用來模擬情況下的手勢識別，并對測試結(jié)果進(jìn)行統(tǒng)計，分別計算每個場景下每種收拾類別識別的精確率和召回率，說明了該網(wǎng)絡(luò)模型在三種不同環(huán)境下的識別效果有差異的原因。5.結(jié)論當(dāng)下，計算機(jī)視覺成為較為火熱的研究領(lǐng)域，有圖像分類，目標(biāo)跟蹤，圖像分割這三大方向。手勢識別是圖像分類的子方向之一。隨著經(jīng)濟(jì)社會的不斷發(fā)展，新的需求被不斷開拓，手勢識別技術(shù)被廣泛地應(yīng)用到人們生產(chǎn)生活的各個方面。例如，在機(jī)器人控制，汽車導(dǎo)航控制，短視頻和互聯(lián)網(wǎng)直播等領(lǐng)域，都可以通過手勢識別技術(shù)實現(xiàn)人機(jī)交互。并且隨著需求不斷被開發(fā)，手勢識別技術(shù)將會有更為多樣化的應(yīng)用形式。因此，本文基于這一背景，設(shè)計了一個用于手勢識別的卷積神經(jīng)網(wǎng)絡(luò)模型。本文主要設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)模型擁有7層卷積層，6層池化層和一個全連接層的。整個設(shè)計是在Anaconda環(huán)境下使用Python3.8實現(xiàn)的，并運(yùn)用了Tensorflow2.0和OpenCV開源框架。數(shù)據(jù)預(yù)處理部分使用了背景消除技術(shù)，采用了將背景更新和膚色檢測相結(jié)合的方法進(jìn)行背景消除，生成了一個長度為89像素，寬度為100像素的二值化圖像作為卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型的輸入。網(wǎng)絡(luò)模型中的所有卷積層均采用2×2的卷積核進(jìn)行卷積運(yùn)算。輸入圖像經(jīng)過2層卷積層后，每層卷積層都會經(jīng)過一層池化窗口為2的池化層以減少其參數(shù)。通過卷積層和池化層后得到的特征圖會被輸入進(jìn)一個有1000個神經(jīng)元的單層全連接層進(jìn)行分類，最后是輸出層，其5個輸出值分別為該圖像被預(yù)測為每個類別的概率。訓(xùn)練過程中，整個網(wǎng)絡(luò)模型以0.25的概率隨機(jī)關(guān)閉神經(jīng)元，以防止其過擬合。網(wǎng)絡(luò)模型在訓(xùn)練集上對五個手勢識別精確率的平均值為99.6%，召回率的平均值為99.8%。測試集中，白色背景下對五個手勢識別精確率的平均值為97.0%，召回率的平均值為97.4%，宿舍場景下對五個手勢識別精確率的平均值為86.1%，召回率的平均值為88.0%，室外場景下對五個手勢識別精確率的平均值為81.9%，召回率的平均值為81.2%。本設(shè)計仍存在一些不足之處。首先是該設(shè)計中的網(wǎng)絡(luò)模型只能識別出5種手勢，其應(yīng)用范圍有限。其次，在室內(nèi)和戶外這樣的復(fù)雜多變的場景下，背景消除仍然會產(chǎn)生一些噪聲，這些噪聲使得網(wǎng)絡(luò)模型在這兩個場景下進(jìn)行手勢識別的準(zhǔn)確率降低。因此，打算通過以下幾種方式對本設(shè)計進(jìn)行改進(jìn)。一是增加網(wǎng)絡(luò)的復(fù)雜性，通過增加輸入圖像的大小和網(wǎng)絡(luò)層數(shù)，使之能進(jìn)行更為復(fù)雜的特征提取，進(jìn)而識別出更多手勢。二是改用多通道的圖像作為模型的輸入，從多個層次提取特征，減少噪音的影響。三是針對膚色檢測，設(shè)計更合理的閾值處理方法，而不再是簡單地求閾值上下兩部分的加權(quán)類內(nèi)最小方差。三是不再對整個輸入圖像進(jìn)行識別，而是在輸入圖中提取出大大小小不同的尺寸的子圖，對子圖進(jìn)行識別，從而可以實現(xiàn)同時在一張圖中的不同位置識別出多個不同手勢的功能。四是可以去參考一些更為復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)。例如FasterR-CNN，YOLOV3，SSC等神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)，這些網(wǎng)絡(luò)模型結(jié)構(gòu)適合動態(tài)的圖像分類和目標(biāo)檢測，可以通過合并相似區(qū)選出候選框，并對圖中各個區(qū)域進(jìn)行分類判斷，而且這些網(wǎng)絡(luò)模型通常采用更為簡便高效的分類器進(jìn)對前面的卷積層的特征圖行分類。參考文獻(xiàn)MohantyA,RambhatlaSS,SahayRR.Deepgesture:statichandgesturerecognitionusingCNN[C]//ProceedingsofInternationalConferenceonComputerVisionandImageProcessing.Springer,Singapore,2017:449-461.SewakM,KarimMR,PujariP.Practicalconvolutionalneuralnetworks:implementadvanceddeeplearningmodelsusingPython[M].PacktPublishingLtd,2018.蔡娟,蔡堅勇,廖曉東,等.基于卷積神經(jīng)網(wǎng)絡(luò)的手勢識別初探[J].計算機(jī)系統(tǒng)應(yīng)用,2015,24(4):113-117.ChangCM,TsengDC.LooseHandGestureRecognitionUsingCNN[M]//Advancesin3DImageandGraphicsRepresentation,Analysis,ComputingandInformationTechnology.Springer,Singapore,2020:87-96.王恒濤.基于TensorFlow,Keras與OpenCV的圖像識別集成系統(tǒng)[J].電子測試,2020,No.453(24):55-56+126.武霞,張崎,許艷旭.手勢識別研究發(fā)展現(xiàn)狀綜述[J].電子科技,2013,26(6):171.圣文順,孫艷文.卷積神經(jīng)網(wǎng)絡(luò)在圖像識別中的應(yīng)用[J].軟件工程師,2019,022(002):13-16.MaM,ChenZ,WuJ.Arecognitionmethodofhandgesturewithcnn-svmmodel[C]//InternationalConferenceonBio-InspiredComputing:TheoriesandApplications.Springer,Singapore,2016:399-404.郝禹哲,張玉金,田海越,等.基于卷積神經(jīng)網(wǎng)絡(luò)的手勢識別方法[J].傳感器與微系統(tǒng),2020,039(005):48-50.宋京,段惠斌.基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的手勢識別[J].物聯(lián)網(wǎng)技術(shù),2020(7).PintoRF,BorgesCDB,AlmeidaA,etal.Statichandgesturerecognitionbasedonconvolutionalneuralnetworks[J].JournalofElectricalandComputerEngineering,2019.柏麗銀、彭亞雄、陸安江、余圣新、張旭.復(fù)雜背景下基于卷積神經(jīng)網(wǎng)絡(luò)的手勢識別[J].計算機(jī)工程與設(shè)計,2020,v.41;No.407(11):207-211.SzegedyC,VanhouckeV,IoffeS,etal.Rethinkingtheinceptionarchitectureforcomputervision[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2016:2818-2826.CaoX.Apracticaltheoryfordesigningverydeepconvolutionalneuralnetworks[J].UnpublishedTechnicalReport,2015.S.SuzukiandK.Be,“Topologicalstructuralanalysisofdigitizedbinaryimagesbyborderfollowing,”ComputerVision,Graphics,andImageProcessing,