多層感知機(jī)理論基礎(chǔ)概述

多層感知機(jī)也叫人工神經(jīng)網(wǎng)絡(luò)（ANN），除了輸入輸出層，它中間可以有多個(gè)隱層，輸入層的每個(gè)數(shù)據(jù)被輸送給隱層的多個(gè)神經(jīng)元，每個(gè)神經(jīng)元通過加權(quán)后得到輸出，經(jīng)過激活函數(shù)輸出給下一神經(jīng)元。如圖2-2所示。圖2-2只含有一層隱藏層的多層感知機(jī)REF_Ref73448389\r\h[6]1.1激活函數(shù)像卷積神經(jīng)網(wǎng)絡(luò)這樣的多層結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)中，前一層的輸出和后一層的輸入之間具有一定的函數(shù)關(guān)系，這個(gè)函數(shù)稱為激活函數(shù)REF_Ref73448535\r\h[9]。激活函數(shù)一定是非線性函數(shù)，因?yàn)檫@樣可以使得輸出不再是輸入的線性組合，并且輸出可以是輸入的任何函數(shù)。圖2-3激活函數(shù)在神經(jīng)元中的位置常見的激活函數(shù)有Sigmoid函數(shù)，tanh函數(shù)，ReLU函數(shù)等。這些激活函數(shù)各有優(yōu)缺點(diǎn)，適用于不同的深度學(xué)習(xí)任務(wù)。本設(shè)計(jì)采用的是ReLU激活函數(shù)，其解析式為：fxReLU函數(shù)的作用就是增加了神經(jīng)網(wǎng)絡(luò)各層之間的非線性關(guān)系。ReLU函數(shù)的梯度不會(huì)隨輸入的增大而減小，有效地解決了梯度彌散的問題，同時(shí)ReLU函數(shù)僅需取輸入值與0的最大值，大大減小了計(jì)算量。其收斂速度也遠(yuǎn)快于其它激活函數(shù)。相比之下，若采用Sigmoid等函數(shù)來(lái)作為激活函數(shù)，誤差反向傳播時(shí)就很容易就出現(xiàn)梯度消失的情況，這時(shí)反向傳播的效果就微乎其微，使得對(duì)于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練變得困難。而采用Relu激活函數(shù)，整個(gè)過程的計(jì)算量節(jié)省很多。并且，Relu會(huì)使一部分神經(jīng)元的輸出為0，變相實(shí)現(xiàn)了網(wǎng)絡(luò)的稀疏連接，一定程度上抑制了神經(jīng)網(wǎng)絡(luò)的過擬合。1.2損失函數(shù)損失函數(shù)REF_Ref73448535\r\h[9]用于估計(jì)模型的預(yù)測(cè)值核真實(shí)值之間的不一致程度，對(duì)模型的訓(xùn)練是為了使損失函數(shù)的值盡可能更小，當(dāng)損失函數(shù)小于某個(gè)設(shè)定值時(shí)，可以認(rèn)為模型訓(xùn)練完成。常見的損失函數(shù)有平方損失函數(shù)，Hinge損失函數(shù)，交叉熵?fù)p失函數(shù)（categorical_crossentropy）等。本設(shè)計(jì)采用交叉熵?fù)p失函數(shù)，其公式如下：C=?1式（2.3）中，y為期望輸出，a為實(shí)際輸出，n為輸出向量的維度。交叉熵的值越小，兩個(gè)概率分布就越接近。在卷積升級(jí)網(wǎng)絡(luò)的圖片分類問題中，經(jīng)常使用交叉熵作為損失函數(shù)。此外，由于交叉熵涉及到計(jì)算每個(gè)類別的概率，故而其往往與ReLU激活函數(shù)一起出現(xiàn)。交叉熵?fù)p失函數(shù)適合于求不同類別間的信息，因?yàn)樗捎昧祟愰g競(jìng)爭(zhēng)機(jī)制，重視對(duì)于正確標(biāo)簽預(yù)測(cè)概率的準(zhǔn)確性。但是與此同時(shí)交叉熵?fù)p失函數(shù)不能對(duì)非正確標(biāo)簽之間的差別進(jìn)行表述。對(duì)于手勢(shì)識(shí)別這樣的任務(wù)，如果手勢(shì)的分類不具備二義性時(shí)，適合使用交叉熵作為損失函數(shù)。1.3通過隨機(jī)丟棄神經(jīng)元以防止過擬合在深度神經(jīng)網(wǎng)絡(luò)中，通常使用Dropout層REF_Ref73448535\r\h[9]在訓(xùn)練過程中將神經(jīng)網(wǎng)絡(luò)的神經(jīng)元以設(shè)定的概率將其關(guān)閉。值得注意的是，這種關(guān)閉只是暫時(shí)的。在隨機(jī)梯度下降下，隨機(jī)關(guān)閉神經(jīng)元，使得每一次迭代都在訓(xùn)練不同的網(wǎng)絡(luò)。使用Dropout層是為了減少模型訓(xùn)練導(dǎo)致的過擬合。過擬合是深度神經(jīng)網(wǎng)絡(luò)中的一個(gè)常見問題。當(dāng)訓(xùn)練一個(gè)大型的網(wǎng)絡(luò)時(shí)，訓(xùn)練數(shù)據(jù)很少的話，那么很容易引起過擬合REF_Ref73448593\r\h[10]。過擬合會(huì)導(dǎo)致整個(gè)網(wǎng)絡(luò)更傾向于訓(xùn)練集，即在訓(xùn)練集上表現(xiàn)出很好的效果，但是在測(cè)試集中和實(shí)際運(yùn)用過程中的效果則會(huì)變差。為了提高網(wǎng)絡(luò)的泛化能力，防止過擬合，可以采用隨機(jī)讓一些神經(jīng)元停止工作的方式來(lái)達(dá)到降低過擬合的效果。這樣訓(xùn)練出來(lái)的網(wǎng)絡(luò)模型對(duì)測(cè)試數(shù)據(jù)的變化能有更好的適應(yīng)性。如圖所示。圖2-4使用Dropout方式隨機(jī)關(guān)閉神經(jīng)元REF_Ref73448593\r\h[10]本設(shè)計(jì)使用TensorFlo