自編碼器算法模型的數(shù)據(jù)降維度效果實(shí)證分析案例目錄TOC\o"1-3"\h\u2481自編碼器算法模型的數(shù)據(jù)降維度效果實(shí)證分析案例 1110971主要算法及模型 1148361.1模型結(jié)構(gòu) 1175631.1.1傳統(tǒng)自編碼器 135021.1.2棧式自編碼器 246261.1.3稀疏自編碼器 3220191.1.4去噪自編碼器（DAE） 317961.1.5卷積自編碼器 4278911.2模型對(duì)比 4168981.3激活函數(shù) 564441.1.1Sigmoid 540601.1.2tanh 6311551.1.3ReLU函數(shù) 6192411.1.4優(yōu)缺點(diǎn)對(duì)比 7327061.5本章小結(jié) 795292實(shí)驗(yàn)結(jié)果展示與分析 8287972.1數(shù)據(jù)集選擇 829192.2訓(xùn)練過(guò)程對(duì)比 8300672.2.1傳統(tǒng)自編碼器訓(xùn)練過(guò)程 8133492.2.2棧式、去噪自編碼器訓(xùn)練過(guò)程 8148522.2.3稀疏自編碼器訓(xùn)練過(guò)程 9310292.2.4卷積自編碼器訓(xùn)練過(guò)程 10177032.3實(shí)驗(yàn)結(jié)果對(duì)比 1043372.1.1編碼層結(jié)果對(duì)比 10312652.1.2損失函數(shù)loss值對(duì)比 1316832.1.3重構(gòu)圖像對(duì)比 14164262.4本章小結(jié) 161主要算法及模型1.1模型結(jié)構(gòu)1.1.1傳統(tǒng)自編碼器傳統(tǒng)自編碼器REF_Ref998\r\h[8]通過(guò)神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)，通過(guò)學(xué)習(xí)恒等函數(shù)完全可以實(shí)現(xiàn)輸入于輸出盡量相同的目的，如圖3-1，但是我們只在意輸入到輸出的恒等變化是沒(méi)有意義的，傳統(tǒng)自編碼器大致包括輸入層、輸出層和隱藏層三層結(jié)構(gòu)，只有一層隱層，我們真正關(guān)心的是這一隱層表達(dá)，而不是輸入輸出。由于隱藏層的神經(jīng)元數(shù)量要比輸入層的小，所以隱層可以學(xué)習(xí)和提取輸入數(shù)據(jù)的特征，這也是自編碼器的重中之重，而我們知道，對(duì)于學(xué)習(xí)過(guò)程，是可以通過(guò)人工干預(yù)去增加一定約束的，約束的目的是為了改變隱層表達(dá)使其與輸入不同，若約束條件下的模型仍可重建輸入信號(hào)，那么意味著這個(gè)隱藏層就代表著輸入信號(hào)，這個(gè)時(shí)候隱藏層所表達(dá)出來(lái)的，就是通過(guò)模型學(xué)習(xí)得到的特征。輸入重構(gòu)過(guò)程，是數(shù)據(jù)降維的反過(guò)程解碼，本論文通過(guò)解碼效果來(lái)對(duì)比算法性能。圖3-1傳統(tǒng)自編碼器模型1.1.2棧式自編碼器傳統(tǒng)自編碼器或許可以理解為強(qiáng)化版的PCA，只進(jìn)行了一次使用，并不能起到很大作用，棧式自編碼器REF_Ref998\r\h[8]相當(dāng)于對(duì)傳統(tǒng)自編碼器進(jìn)行了“迭代-更新“的升級(jí)，如圖3-2，在非監(jiān)督網(wǎng)絡(luò)學(xué)習(xí)中，每個(gè)編碼器的參數(shù)只收到當(dāng)前層輸入的限制，所以當(dāng)前編碼器i可以在訓(xùn)練完直接傳遞給當(dāng)前層i，根據(jù)優(yōu)勢(shì)參數(shù)的原理，將提取出來(lái)的數(shù)據(jù)傳到下一層i+1，這樣不斷訓(xùn)練下去，i+1層得到的永遠(yuǎn)是i層提取出來(lái)的“精華”，效益提高非常明顯。這種模型比傳統(tǒng)自編碼器更具深度，所以又可以被稱作深度自編碼器。圖3-2棧式自編碼器解碼層圖示1.1.3稀疏自編碼器神經(jīng)網(wǎng)絡(luò)含有大量的神經(jīng)元，而當(dāng)隱藏層存在較多神經(jīng)元時(shí)，為了能夠繼續(xù)提取樣本的特征，稀疏自編碼器REF_Ref998\r\h[8]在普通的自編碼器的基礎(chǔ)上，增加了稀疏的約束。前面我們已經(jīng)提到過(guò)對(duì)稀疏性的理解，是激活或者抑制的狀態(tài)，而這里的稀疏性是指對(duì)隱藏層進(jìn)行激活的懲罰項(xiàng)，而并不是輸出值。而稀疏自編碼器的核心，就是要維持隱藏層的稀疏性，關(guān)鍵在于稀疏性懲罰項(xiàng)。對(duì)于懲罰項(xiàng)的選擇有很多種類，而通常的選擇是在目標(biāo)函數(shù)中加入L1/L2的正則項(xiàng)來(lái)表示稀疏，或者用KL散度來(lái)實(shí)現(xiàn)對(duì)隱藏層激活值的懲罰。圖3-3是對(duì)自編碼器加入稀疏懲罰項(xiàng)：圖3-3加入稀疏性限制1.1.4去噪自編碼器（DAE）去噪自編碼器（DAE）REF_Ref998\r\h[8]，首先基于傳統(tǒng)自編碼器注入高斯白噪聲，噪聲會(huì)“腐蝕”樣本數(shù)據(jù)，然后“腐蝕”數(shù)據(jù)無(wú)噪聲地重構(gòu)“清凈”輸入。傳統(tǒng)自編碼器通過(guò)將輸入與重構(gòu)的信號(hào)之間的誤差最小化，旨在獲得隱藏層的特征表達(dá)，但正如前文我們所說(shuō)，這種策略并不能完全抱證獲得數(shù)據(jù)最本質(zhì)的特征，一味地追求最小化重構(gòu)誤差有可能造成最后的特征只是簡(jiǎn)單的對(duì)樣本的復(fù)制，而為了避免這種情況出現(xiàn)，便產(chǎn)生了噪聲引入的思想，進(jìn)而也有了DAE這種模型。

同前面一樣，我們注重的是模型對(duì)于隱藏層的表達(dá)，DAE的隱藏層不能直接由輸入樣本映射，而是由“腐蝕”版本映射。DAE將隨機(jī)選擇原始輸入樣本中的元素，然后進(jìn)行置0操作，其余元素不做理會(huì)，這就是“腐蝕”的過(guò)程，也就是在原始的數(shù)據(jù)中加入了一些空白的元素，原始數(shù)據(jù)包含的信息就會(huì)減少。而DAE要學(xué)習(xí)的，首先輸入空白信息，學(xué)習(xí)獲取特定的數(shù)據(jù)結(jié)構(gòu)，使得最終所得與原始輸入數(shù)據(jù)更一致。本論文所提及DAE的相關(guān)實(shí)驗(yàn)均采用高斯白噪聲來(lái)對(duì)數(shù)據(jù)進(jìn)行處理。圖3-4是DAE預(yù)處理數(shù)據(jù)的一種過(guò)程圖示：圖3-4DAE預(yù)處理1.1.5卷積自編碼器卷積自編碼器[10]是用卷積層而不是完全連接層來(lái)最小化由輸入對(duì)象通過(guò)降采樣提供的維度隱藏表示。卷積過(guò)程如圖3-5所示，對(duì)于一個(gè)二維平面圖形，先將其填充成一個(gè)了一個(gè)有厚度的方體，再提取出一塊像素塊的長(zhǎng)方體，和另一個(gè)長(zhǎng)度更長(zhǎng)的像素塊的長(zhǎng)方體，再有中間部分的隱藏層的神經(jīng)元傳遞，而后在經(jīng)過(guò)反卷積、反池化等解碼重構(gòu)過(guò)程，將三個(gè)立方體進(jìn)行展平，最后變回平面圖形。圖3-5卷積過(guò)程演示圖1.2模型對(duì)比圖3-6為各模型之間的聯(lián)系與區(qū)別：圖3-6五種自編碼器模型（1）不難看出，棧式自編碼器還基于傳統(tǒng)自編碼器，一些神經(jīng)層可以添加到隱藏層，并通過(guò)“迭代-更新”的方式進(jìn)行學(xué)習(xí)，每層迭代遞進(jìn)降維；（2）稀疏自編碼器通過(guò)進(jìn)一步向隱藏層添加解析，引入稀疏性限制，以更高的效率對(duì)事物的關(guān)鍵特征進(jìn)行捕捉，以此實(shí)現(xiàn)數(shù)據(jù)降維；（3）去噪自編碼器的思想又進(jìn)一步的完善對(duì)特征的提取，通過(guò)對(duì)在輸入層注入噪聲對(duì)數(shù)據(jù)元素隨機(jī)置0，先逼迫自編碼器去學(xué)習(xí)填補(bǔ)空白，然后再通過(guò)學(xué)習(xí)去提取特征。（4）卷積自編碼器將具有卷積層和池化層的完整連接層配置在revolute上，并將圖像池化、卷積化；（5）卷積層的應(yīng)用可以基于自編碼器和解析自編碼器的噪聲消除來(lái)實(shí)現(xiàn)，并且還可以實(shí)現(xiàn)數(shù)據(jù)維度縮小的目的。1.3激活函數(shù)激活函數(shù)是模型結(jié)構(gòu)中的非線性扭曲力，在神經(jīng)網(wǎng)絡(luò)的各層?；氐缴疃葘W(xué)習(xí)的最基本原理，信號(hào)通過(guò)非線性激活功能被神經(jīng)元發(fā)送到下一層。然后通過(guò)層的激活功能持續(xù)發(fā)送，直到它到達(dá)輸出層為止，激活函數(shù)就是上級(jí)節(jié)點(diǎn)的輸出與下級(jí)節(jié)點(diǎn)的輸入之間的函數(shù)關(guān)系。神經(jīng)網(wǎng)絡(luò)之所以具有捕捉復(fù)雜的特征的潛力，就是因?yàn)楹芏嗉せ詈瘮?shù)的疊加。沒(méi)有激活函數(shù)的神經(jīng)網(wǎng)絡(luò)，只能處理線性的問(wèn)題。實(shí)驗(yàn)中，使用了三個(gè)激勵(lì)函數(shù)，ReLU、Sigmoid以及tanh。1.1.1SigmoidSigmoidREF_Ref12301\r\h[11]是最廣泛使用且具有最接近生物神經(jīng)元的物理意義的非線性激活函數(shù)，如圖3-7的函數(shù)圖，兩側(cè)倒數(shù)逐漸趨于0，近似于“殺死”梯度，但是Sigmoid函數(shù)也有其自身的缺陷，比如飽和性，即當(dāng)神經(jīng)網(wǎng)絡(luò)多層堆疊，容易造成梯度消失。其公式為：（3-9）圖3-7sigmoidfunction1.1.2tanhtanh[11]雙曲正切是雙曲函數(shù)中的一個(gè)，讀作HyperbolicTangent，關(guān)于原點(diǎn)中心對(duì)稱，是Sigmoid的一種變體形式，與Sigmoid對(duì)比，其輸出值均為0，收斂速度比Sigmoid函數(shù)快，迭代次數(shù)少，但是仍有飽和性的問(wèn)題，其公式為：（3-10）函數(shù)表達(dá)式如圖3-8所示：圖3-8tanhfunction1.1.3ReLU函數(shù)ReLUREF_Ref12301\r\h[11]是克服Sigmoid函數(shù)和tanh函數(shù)的缺點(diǎn)的函數(shù)，全稱為整流線性單元（RectifiedLinearUnit，ReLU），通常由斜坡函數(shù)及其變形來(lái)表示，也是非線性函數(shù)，其特點(diǎn)為無(wú)飽和區(qū)，收斂快，計(jì)算形式簡(jiǎn)單等，但在變量更新過(guò)快時(shí)會(huì)較為脆弱，容易找不到最佳值，在小于零的分段函數(shù)內(nèi)又會(huì)“殺死”梯度。ReLU函數(shù)是目前使用度最為廣等函數(shù)，能夠解決梯度等彌散問(wèn)題，其公式為：（3-11）函數(shù)圖像如圖3-9所示：圖3-9ReLU函數(shù)圖像1.1.4優(yōu)缺點(diǎn)對(duì)比Sigmoid在神經(jīng)網(wǎng)絡(luò)層數(shù)較少時(shí)，能夠很好地對(duì)神經(jīng)元在收到激勵(lì)時(shí)是否被激活以及向下一層傳遞的情況（為1時(shí)完全激活，為0時(shí)幾乎不被激活），但是，在深化神經(jīng)網(wǎng)絡(luò)層的使用過(guò)程中，其產(chǎn)生梯度彌散和梯度爆炸的可能性也隨之增大，梯度爆炸尤甚。tanh函數(shù)的梯度消失問(wèn)題比Sigmoid輕，梯度消失過(guò)快，函數(shù)的收斂速度變慢。Sigmoid函數(shù)不是以零為中心，輸出值恒為正，而tanh解決了這一問(wèn)題，參數(shù)更新速度要更快一些。ReLU函數(shù)的優(yōu)點(diǎn)是梯度簡(jiǎn)單，計(jì)算簡(jiǎn)單，只需對(duì)輸入是否大于0進(jìn)行判斷，就可以大大提高隨機(jī)梯度下降的收斂速度，并解決梯度消失問(wèn)題，收斂速度比Sigmoid和tanh快得多，對(duì)加速網(wǎng)絡(luò)訓(xùn)練幫助極大。但是函數(shù)本身過(guò)于脆弱，神經(jīng)元在訓(xùn)練過(guò)程中“死去”。且負(fù)數(shù)部分恒為0，無(wú)法激活部分神經(jīng)元，輸入也不是以0為中心。1.5本章小結(jié)在本章中，我們?cè)敿?xì)介紹了五種實(shí)驗(yàn)?zāi)Ｐ停⒚枋隽怂募?lì)函數(shù)。這些模型將在后面的實(shí)驗(yàn)中實(shí)現(xiàn)，通過(guò)實(shí)驗(yàn)結(jié)果研究不同的降維效果。2實(shí)驗(yàn)結(jié)果展示與分析2.1數(shù)據(jù)集選擇本文實(shí)驗(yàn)采用MNIST數(shù)據(jù)集，該數(shù)據(jù)集包含60000張訓(xùn)練手寫圖像和10000張測(cè)試圖像。使用訓(xùn)練圖像訓(xùn)練模型，并使用測(cè)試圖像測(cè)試模型的學(xué)習(xí)情況。各降維效果的比較，通過(guò)將隱藏層的編碼結(jié)果投影到二維平面上的可視化來(lái)比較。2.2訓(xùn)練過(guò)程對(duì)比算法模型由完全耦合層構(gòu)建，“tanhfunction”僅用于解碼層，其余神經(jīng)網(wǎng)絡(luò)層使用“ReLU函數(shù)”作激活函數(shù)。實(shí)驗(yàn)表明，隱藏層采用卷積層的形式，作為激活函數(shù)，“Sigmoid”和“雙分量交叉熵”的組合表現(xiàn)出更好的效果，卷積編碼器的設(shè)計(jì)實(shí)驗(yàn)按此對(duì)參數(shù)進(jìn)行修改。2.2.1傳統(tǒng)自編碼器訓(xùn)練過(guò)程同前文所敘述的假設(shè)思想不同，在本實(shí)驗(yàn)中，傳統(tǒng)自編碼器采用稠密編碼×輸入層的維數(shù)（Dense×3）28*28=784，即784個(gè)神經(jīng)元，我們想展示的是在二維平面上將訓(xùn)練結(jié)果視覺(jué)化，因此，實(shí)驗(yàn)隱藏的層尺寸被設(shè)定為2。最后一層輸出重構(gòu)圖像，應(yīng)將輸出層大小設(shè)置為784。此隱藏層只有兩層，可避免過(guò)擬合，無(wú)需再加入正則化。圖4-1示出：圖SEQ圖\*ARABIC4-1傳統(tǒng)自編碼器訓(xùn)練過(guò)程2.2.2棧式、去噪自編碼器訓(xùn)練過(guò)程棧式自編碼器擁有多個(gè)隱藏神經(jīng)層，通過(guò)逐層迭代獲取數(shù)據(jù)的關(guān)鍵特征。其訓(xùn)練過(guò)程如圖4-2所示：圖4-2棧式自編碼器訓(xùn)練過(guò)程去噪自編碼器向輸入層注入高斯白噪聲，對(duì)數(shù)據(jù)元素隨機(jī)置0，如圖4-3:圖4-3去噪自編碼器訓(xùn)練過(guò)程2.2.3稀疏自編碼器訓(xùn)練過(guò)程稀疏自編碼器可分為欠完備式和過(guò)完備式，前者在欠完備自編碼器中加入正則化，后者調(diào)整隱層神經(jīng)元數(shù)目大于輸入層神經(jīng)元數(shù)目，并在隱層中加入伴隨的稀疏性限約束。過(guò)程如圖4-4、圖4-5:圖4-4稀疏欠完備式自編碼器訓(xùn)練過(guò)程圖4-5稀疏過(guò)完備式自編碼器訓(xùn)練過(guò)程2.2.4卷積自編碼器訓(xùn)練過(guò)程本文將池化層和卷積層相結(jié)合，建立了卷積自編碼模型。在填充模式中，選擇“相同”（“same”），并且池層選擇最大池。所獲得的數(shù)據(jù)通過(guò)flatten層被“壓縮”。解碼的重構(gòu)方法有去池化和去卷積。過(guò)程如圖4-6所示:圖4-6卷積自編碼器訓(xùn)練過(guò)程2.3實(shí)驗(yàn)結(jié)果對(duì)比2.1.1編碼層結(jié)果對(duì)比訓(xùn)練結(jié)束，編碼層結(jié)果通過(guò)向二維平面映射進(jìn)行可視化，可以從圖4-7中很清晰地看到：（1）通過(guò)視覺(jué)化Mnist手寫字符識(shí)別數(shù)據(jù)集的分類，可以看出傳統(tǒng)自編碼器不合適這一任務(wù)，圖4-7(a)顯示出各種散射點(diǎn)的分布是雜亂的，混在一起，很難區(qū)分開(kāi)，傳統(tǒng)自編碼器在數(shù)據(jù)降維中的過(guò)程中變現(xiàn)極差。（2）從圖4-7(b)中可以看到，棧式自編碼器對(duì)于數(shù)據(jù)的分類比較到位，10個(gè)類別的映射點(diǎn)區(qū)分得較為清晰，比傳統(tǒng)自編碼器做的更好。（3）圖4-7(c)，4-7(d)示出兩種稀疏自編碼器的效果，稀疏欠完備自編碼器具有各相鄰類別的數(shù)據(jù)點(diǎn)的均衡分布，總體分布比較明確，可以做到很均衡地表示10個(gè)類別；稀疏過(guò)完備自編碼器，在降維過(guò)程中性能有所提高，但二者相差不大，但是各類別數(shù)據(jù)點(diǎn)的分布較欠完備式不夠明確，可見(jiàn)Sparseness的加入對(duì)特征表達(dá)有加持，且正則化的方式效果尤為突出。（4）圖4-7(e)示出去噪自編碼器的效果，可見(jiàn)噪聲加入的策略并未影響其降維效果，其降維效果與棧式自編碼器沒(méi)什么區(qū)別，數(shù)據(jù)點(diǎn)分布也更佳均勻，降維效果很好。（5）通過(guò)圖4-7(f)可以看到，卷積自編碼器各數(shù)據(jù)點(diǎn)的分布非常集中，且清晰明了，各分布區(qū)域相隔比較明確，數(shù)據(jù)點(diǎn)涵蓋范圍也比較廣，對(duì)數(shù)據(jù)特征的區(qū)分非常到位，說(shuō)明對(duì)特征的提取極具代表性，其降維效果在眾模型中最為突出。（a）傳統(tǒng)自編碼器（b）棧式自編碼器（c）稀疏欠完備自編碼器（d）稀疏過(guò)完備自編碼器（e）去噪自編碼器（f）卷積自編碼器圖4-7五種自編碼器編碼層降維效果對(duì)比2.1.2損失函數(shù)loss值對(duì)比圖4-8是對(duì)模型重構(gòu)過(guò)程的可視化，體現(xiàn)損失函數(shù)Loss值的變化：（1）圖4-8（a）表明，傳統(tǒng)自編碼器對(duì)于數(shù)據(jù)降維過(guò)程的訓(xùn)練潛力有限，在幾個(gè)epoch以后，功效已達(dá)到極限，在訓(xùn)練接近結(jié)尾的階段Loss值收斂仍保持較高的值，綜合來(lái)講傳統(tǒng)自編碼器的降維效果并不優(yōu)秀。（2）圖4-8（b）、圖4-8（c）、圖4-8（d）、圖4-8（e），分別為棧式自編碼器，稀疏自編碼器，以及去噪自編碼器的Loss值變化曲線。棧式自編碼器與去噪自編碼器的Loss值曲線走勢(shì)大致相同，前幾個(gè)epoch內(nèi)二者的收斂速度近似，棧式自編碼器的收斂幅度要更寬泛一些，在后幾百個(gè)epoch內(nèi)，去噪自編碼器的曲線變化的振蕩幅度更大，總體來(lái)看棧式自編碼器的效果更為穩(wěn)定，去噪自編碼器較次。稀疏自編碼器的過(guò)完備式與欠完備式的Loss值變化曲線亦均出現(xiàn)振蕩現(xiàn)象，且幅度要比去噪自編碼器更大，前幾個(gè)epoch的收斂程度也沒(méi)有棧式與去噪自編碼器大，且在訓(xùn)練后期階段，稀疏自編碼器的Loss值出現(xiàn)升高趨勢(shì)，這表示訓(xùn)練輪數(shù)的累積可能會(huì)導(dǎo)致特征提取的錯(cuò)誤。（3）圖4-8（f）表現(xiàn)為卷積自編碼器的Loss值收斂速度極快，是幾種模型中表現(xiàn)最為突出的，僅前幾個(gè)epoch的訓(xùn)練就將損失函數(shù)收斂至極小的值域，且訓(xùn)練過(guò)程的Loss值穩(wěn)步下降，振蕩幅度幾乎不可見(jiàn)，最終的Loss值也收斂至幾種模型中的最小水平。（a）傳統(tǒng)自編碼器損失函數(shù)曲線(b)稀疏欠完備式自編碼器損失函數(shù)曲線(c)棧式自編碼器損失函數(shù)曲線（d）去噪自編碼器損失函數(shù)曲線（e）稀疏過(guò)完備式自編碼器損失函數(shù)變化（f）卷積自編碼器損失函數(shù)變化圖4-8自編碼器模型Loss值變化對(duì)比2.1.3重構(gòu)圖像對(duì)比圖4-9展示了