第七章人工神經(jīng)網(wǎng)絡(luò)7.1人工神經(jīng)網(wǎng)絡(luò)介紹7.2常用神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)7.1人工神經(jīng)網(wǎng)絡(luò)介紹7.2常用神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)什么是人工神經(jīng)網(wǎng)絡(luò)？人工神經(jīng)網(wǎng)絡(luò)的研究在一定程度上受到了生物學(xué)的啟發(fā)，因為生物的學(xué)習(xí)系統(tǒng)是由相互連接的神經(jīng)元組成的異常復(fù)雜的網(wǎng)絡(luò)。而人工神經(jīng)網(wǎng)絡(luò)與此大體相似，它是由一系列簡單單元相互密集連接構(gòu)成，其中每一個單元有一定數(shù)量的實值輸入，并產(chǎn)生單一的實數(shù)值輸出。7.1人工神經(jīng)網(wǎng)絡(luò)介紹為了加深對這種類比的認(rèn)識，讓我們考慮一些來自生物學(xué)的事實。例如，據(jù)估計人類的大腦是由大約個神經(jīng)元相互連接組成的密集網(wǎng)絡(luò)，平均每一個神經(jīng)元與其他個神經(jīng)元相連。神經(jīng)元的活性通常被通向其他神經(jīng)元的連接激活或抑制。目前知道的最快的神經(jīng)元轉(zhuǎn)換時間與計算機(jī)的轉(zhuǎn)換時間相比慢很多。然而人類能夠以驚人的速度做出復(fù)雜度驚人的決策。7.1人工神經(jīng)網(wǎng)絡(luò)介紹這個事實使很多人推測，生物神經(jīng)系統(tǒng)的信息處理能力一定得益于對分布在大量神經(jīng)元上的信息表示的高度并行處理。ANN系統(tǒng)的一個動機(jī)就是獲得這種基于分布表示的高度并行算法。由于ANN只是一定程度地受生物神經(jīng)系統(tǒng)的啟發(fā)，所以ANN并未模擬生物神經(jīng)系統(tǒng)中的很多復(fù)雜特征，而且已經(jīng)知道ANN的很多特征與生物系統(tǒng)也是不一致的。例如，對于我們考慮的ANN，每個單元輸出單一的不變值，然而生物神經(jīng)元輸出的是復(fù)雜的時序脈沖。7.1人工神經(jīng)網(wǎng)絡(luò)介紹人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)固有的并行結(jié)構(gòu)和并行處理人工神經(jīng)網(wǎng)絡(luò)與人類的大腦類似，不但結(jié)構(gòu)上是并行的，其處理順序也是并行的。在同一層內(nèi)的處理單元都是同時工作的，即神經(jīng)網(wǎng)絡(luò)的計算功能分布在多個處理單元上，而傳統(tǒng)的計算機(jī)通常只有一個處理單元，其處理順序是串行的。目前的神經(jīng)網(wǎng)絡(luò)功能常常用一般計算機(jī)的串行工作方式來模擬，所以顯得很慢，真正意義上的神經(jīng)網(wǎng)絡(luò)將會大大提高處理速度，實現(xiàn)快速處理。7.1人工神經(jīng)網(wǎng)絡(luò)介紹人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)容錯性人類大腦具有很強(qiáng)的容錯能力，這正是由于大腦中知識是存儲在很多處理單元和它們的連接上的。每天大腦的一些細(xì)胞都可能會自動死亡，但這并沒有影響人們的記憶和思考能力。人工神經(jīng)網(wǎng)絡(luò)可以從不完善的數(shù)據(jù)和圖形進(jìn)行學(xué)習(xí)和做出決定由于知識存在整個系統(tǒng)中，而不是在一個存儲單元內(nèi)，因此一定比例的結(jié)點(diǎn)不參與運(yùn)算，對整個系統(tǒng)的性能不會產(chǎn)生重大影響。7.1人工神經(jīng)網(wǎng)絡(luò)介紹人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)自適應(yīng)性人工神經(jīng)網(wǎng)絡(luò)也具有學(xué)習(xí)能力有指導(dǎo)的訓(xùn)練：將輸入樣本加到網(wǎng)絡(luò)輸入并給出相應(yīng)的輸出，通過多次訓(xùn)練迭代獲得連接權(quán)值。（有監(jiān)督：感知器神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)網(wǎng)絡(luò)）無指導(dǎo)的訓(xùn)練：網(wǎng)絡(luò)通過訓(xùn)練自行調(diào)節(jié)連接加權(quán)，從而對輸入樣本分類。（無監(jiān)督：自組織神經(jīng)網(wǎng)絡(luò)）在網(wǎng)絡(luò)訓(xùn)練時，有時只能給出大量的輸入圖形，沒有指定它們的輸出，網(wǎng)絡(luò)就自行按輸入圖形的特征對它們進(jìn)行分類。如小孩通過大量觀察可以分辨出哪是狗、哪是貓一樣。7.1人工神經(jīng)網(wǎng)絡(luò)介紹人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)自適應(yīng)性人工神經(jīng)網(wǎng)絡(luò)具有推理能力綜合推理的能力：網(wǎng)絡(luò)具有正確響應(yīng)和分辨從未見過的輸入樣本的能力。進(jìn)行數(shù)字圖形的識別時，對于不完善的數(shù)字圖形或失真的數(shù)字圖形仍能正確辨認(rèn)。7.1人工神經(jīng)網(wǎng)絡(luò)介紹人工神經(jīng)系統(tǒng)（ANS）神經(jīng)網(wǎng)絡(luò)（NN）自適應(yīng)系統(tǒng)（AdaptiveSystems）、自適應(yīng)網(wǎng)（AdaptiveNetworks）聯(lián)接模型（Connectionism）神經(jīng)計算機(jī)（Neurocomputer）人工神經(jīng)網(wǎng)絡(luò)的別名7.1人工神經(jīng)網(wǎng)絡(luò)介紹ANN與傳統(tǒng)AI技術(shù)的比較項目傳統(tǒng)的AI技術(shù)

ANN技術(shù)

基本實現(xiàn)方式

串行處理；由程序?qū)崿F(xiàn)控制

并行處理；對樣本數(shù)據(jù)進(jìn)行多目標(biāo)學(xué)習(xí)；通過人工神經(jīng)元之間的相互作用實現(xiàn)控制

基本開發(fā)方法

設(shè)計規(guī)則、框架、程序；用樣本數(shù)據(jù)進(jìn)行調(diào)試（由人根據(jù)已知的環(huán)境去構(gòu)造一個模型）

定義人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)原型，通過樣本數(shù)據(jù)，依據(jù)基本的學(xué)習(xí)算法完成學(xué)習(xí)——自動從樣本數(shù)據(jù)中抽取內(nèi)涵（自動適應(yīng)應(yīng)用環(huán)境）

適應(yīng)領(lǐng)域

精確計算：符號處理，數(shù)值計算非精確計算：模擬處理，感覺，大規(guī)模數(shù)據(jù)并行處理模擬對象

左腦（邏輯思維）右腦（形象思維）7.1人工神經(jīng)網(wǎng)絡(luò)介紹13人工神經(jīng)元生物神經(jīng)元是以細(xì)胞體為主體，由許多向四面延伸的不規(guī)則樹枝狀纖維構(gòu)成的神經(jīng)細(xì)胞。生物神經(jīng)元由4部分組成：細(xì)胞體、軸突、樹突和突觸。7.1人工神經(jīng)網(wǎng)絡(luò)介紹14人工神經(jīng)元細(xì)胞體：是生物神經(jīng)元的主體。由細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜組成。細(xì)胞核進(jìn)行呼吸和新陳代謝等許多生化過程。軸突：由細(xì)胞體向外伸長的最長一條分支。軸突相當(dāng)于細(xì)胞的輸出電纜，其端部的許多神經(jīng)末梢為信號輸出子，用于傳出細(xì)胞體產(chǎn)生的輸出電化學(xué)信號，即神經(jīng)沖動。樹突：由細(xì)胞體向外伸出的其他許多較短的分支。它相當(dāng)于細(xì)胞的輸入端，接受來自四面八方的傳入神經(jīng)沖動。7.1人工神經(jīng)網(wǎng)絡(luò)介紹突觸：神經(jīng)元之間通過軸突（輸出）和樹突（輸入）相互連接，其接口稱為突觸。多個神經(jīng)元以突觸相連接即形成了生物神經(jīng)網(wǎng)絡(luò)。突觸有兩種類型：興奮型突觸和抑制型突觸。膜電位：由于細(xì)胞膜對細(xì)胞液中的不同例子具有不同的通透性，使得細(xì)胞膜內(nèi)外之間存在著電位差，稱為膜電位。7.1人工神經(jīng)網(wǎng)絡(luò)介紹16突觸軸突及突觸與其它許多神經(jīng)元建立聯(lián)系。樹突接收來自不同神經(jīng)元的信息。神經(jīng)元之間的這種復(fù)雜聯(lián)系就形成了相應(yīng)的神經(jīng)網(wǎng)絡(luò)。7.1人工神經(jīng)網(wǎng)絡(luò)介紹17樹突：輸入端突觸：輸入/輸出的接口；細(xì)胞體：微型處理器，它對各種輸入信息進(jìn)行整合；軸突：輸出信號沿著軸突傳至神經(jīng)末梢，并通過突觸傳向其他的神經(jīng)元的樹突。7.1人工神經(jīng)網(wǎng)絡(luò)介紹神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元（構(gòu)件）。人工神經(jīng)元模型應(yīng)該具有生物神經(jīng)元的基本特性。人工神經(jīng)元是對生物神經(jīng)元結(jié)構(gòu)和功能的模擬，是對生物神經(jīng)元的形式化描述，是對生物神經(jīng)元的信息處理過程的抽象。

7.1人工神經(jīng)網(wǎng)絡(luò)介紹M-P模型M-P模型建立的假設(shè)條件每個神經(jīng)元都是一個多輸入單輸出的信息處理單元；神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類型；神經(jīng)元具有空間整合特性和閾值特性；神經(jīng)元輸入與輸出間有固定的時滯，主要取決于突觸延擱；忽略時間整合作業(yè)和不應(yīng)期；神經(jīng)元本身是非時變的，即其突觸時延和突觸強(qiáng)度均為常數(shù)。7.1人工神經(jīng)網(wǎng)絡(luò)介紹M-P模型MP神經(jīng)元模型是1943年，由WarrenMcCulloch和WalterPitts提出的。M-P模型包括了加權(quán)、求和和激勵（轉(zhuǎn)移）三部分功能。神經(jīng)元接收到來自n個其他神經(jīng)元傳遞過來的輸入信號x1,x2,…,xn；這些輸入信號通過帶權(quán)值的連接進(jìn)行傳遞w1,w2,…,wn；神經(jīng)元接收到的總輸入值將與神經(jīng)元的閾值θ進(jìn)行比較；通過“激活函數(shù)”f(?)處理產(chǎn)生神經(jīng)元的輸出y。7.1人工神經(jīng)網(wǎng)絡(luò)介紹人工神經(jīng)元的基本構(gòu)成人工神經(jīng)元模擬生物神經(jīng)元：輸入：X=（x1，x2，…，xn）聯(lián)接權(quán)：W=（w1，w2，…，wn）T網(wǎng)絡(luò)輸入：

net=∑xiwi向量形式：

net=XWxnwn∑x1w1x2w2net=XW…7.1人工神經(jīng)網(wǎng)絡(luò)介紹激活函數(shù)——執(zhí)行對該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為激勵函數(shù)、活化函數(shù)，傳遞函數(shù)等：

O=f(net)

激活函數(shù)(傳遞函數(shù))7.1人工神經(jīng)網(wǎng)絡(luò)介紹單輸入人工神經(jīng)元神經(jīng)元輸出傳輸函數(shù)偏置(值)輸入權(quán)值凈輸入7.1人工神經(jīng)網(wǎng)絡(luò)介紹多輸入神經(jīng)元簡化符號7.1人工神經(jīng)網(wǎng)絡(luò)介紹25激活函數(shù)(1.閾值函數(shù))

階躍函數(shù)：符號函數(shù)：7.1人工神經(jīng)網(wǎng)絡(luò)介紹激活函數(shù)(2.線性傳輸函數(shù))

LinearTransferFunction7.1人工神經(jīng)網(wǎng)絡(luò)介紹27激活函數(shù)(3.分段線性函數(shù))

分段線性函數(shù)：7.1人工神經(jīng)網(wǎng)絡(luò)介紹激活函數(shù)(4.Sigmoid函數(shù))

7.1人工神經(jīng)網(wǎng)絡(luò)介紹Sigmoid函數(shù)作為激活函數(shù)具有優(yōu)點(diǎn)：非線性、單調(diào)性無限次可微當(dāng)權(quán)值很大時，可近似閾值函數(shù)當(dāng)權(quán)值很小時，可近似線性函數(shù)Sigmoid函數(shù)作為激活函數(shù)具有缺點(diǎn)：存在飽和區(qū)域，會造成梯度消失：神經(jīng)網(wǎng)絡(luò)使用Sigmoid激活函數(shù)進(jìn)行反向傳播時，輸出接近0或1的神經(jīng)元其梯度趨近于0。Sigmoid函數(shù)輸出是非零對稱的，所有的W都朝著同一符號方向變化會減小訓(xùn)練速度。激活函數(shù)(4.Sigmoid函數(shù))

7.1人工神經(jīng)網(wǎng)絡(luò)介紹激活函數(shù)(5.Tanh函數(shù))

優(yōu)點(diǎn)：Tanh（雙曲正切）

函數(shù)的取值范圍在(-1,1)之間，單調(diào)連續(xù)，異于求導(dǎo)；tanh函數(shù)線性區(qū)斜率較Sigmoid更大一些，在此區(qū)域內(nèi)訓(xùn)練速度會更快；tanh函數(shù)輸出均值為零（關(guān)于圓點(diǎn)對稱），也就不存在Sigmoid函數(shù)中

dW恒為正或者恒為負(fù)，從而影響訓(xùn)練速度的問題；缺點(diǎn)：tanh函數(shù)與Sigmoid函數(shù)一樣，也存在飽和區(qū)梯度消失問題。7.1人工神經(jīng)網(wǎng)絡(luò)介紹激活函數(shù)(6.修正線性單元ReLU函數(shù))

優(yōu)點(diǎn)：沒有飽和區(qū)，不存在梯度消失問題；沒有復(fù)雜的指數(shù)運(yùn)算，計算簡單、效率提高；實際收斂速度較快；缺點(diǎn)：當(dāng)x<0時，ReLU輸出總為零。該神經(jīng)元輸出為零，則反向傳播時，權(quán)重、參數(shù)的梯度橫為零，造成權(quán)重、參數(shù)永遠(yuǎn)不會更新，即造成神經(jīng)元失效；ReLU的輸出仍然是非零對稱的；7.1人工神經(jīng)網(wǎng)絡(luò)介紹激活函數(shù)(7.LeakyReLU函數(shù))

優(yōu)點(diǎn)：沒有飽和區(qū)，不存在梯度消失問題；沒有復(fù)雜的指數(shù)運(yùn)算，計算簡單、效率提高；實際收斂速度較快；不會造成神經(jīng)元失效；變形：LeakyReLU可以得到更多擴(kuò)展。不讓x乘常數(shù)項，而是讓x乘超參數(shù)；7.1人工神經(jīng)網(wǎng)絡(luò)介紹激活函數(shù)名稱輸入/輸出關(guān)系圖標(biāo)Matlab函數(shù)硬極限函數(shù)Hardlim對稱極限函數(shù)Hardlims線性函數(shù)Pureline飽和線性函數(shù)Satlin7.1人工神經(jīng)網(wǎng)絡(luò)介紹對稱飽和線性函數(shù)Satlins對數(shù)S型函數(shù)Logsig雙曲正切S型函數(shù)Tansig正線性函數(shù)Poslin競爭函數(shù)Compet7.1人工神經(jīng)網(wǎng)絡(luò)介紹35人工神經(jīng)網(wǎng)絡(luò)的基本要素

神經(jīng)網(wǎng)絡(luò)的設(shè)計

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練算法人工神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型：激活函數(shù)人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)：網(wǎng)絡(luò)分幾層、每層幾個節(jié)點(diǎn)、節(jié)點(diǎn)之間如何連接等等。神經(jīng)元的模型確定之后，一個神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的結(jié)構(gòu)及學(xué)習(xí)方法。7.1人工神經(jīng)網(wǎng)絡(luò)介紹單層網(wǎng)絡(luò)（只計算處理單元層）最簡單的網(wǎng)絡(luò)是把一組結(jié)點(diǎn)形成一層。左邊的黑色圓點(diǎn)只起著分配輸入信號的作用，沒有計算作用，不看作是網(wǎng)絡(luò)的一層。右邊用圓圈表示的一組結(jié)點(diǎn)被看作一層。人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)7.1人工神經(jīng)網(wǎng)絡(luò)介紹多層網(wǎng)絡(luò)一般來說，大而復(fù)雜的網(wǎng)絡(luò)能提供更強(qiáng)的計算能力。雖然目前已構(gòu)成了很多網(wǎng)絡(luò)模型，但它們的結(jié)點(diǎn)都是按層排列的，這一點(diǎn)正是模仿了大腦皮層中的網(wǎng)絡(luò)模塊。多層網(wǎng)絡(luò)是由單層網(wǎng)絡(luò)進(jìn)行級聯(lián)構(gòu)成的，即上一層的輸出作為下一層的輸入。人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)7.1人工神經(jīng)網(wǎng)絡(luò)介紹多層網(wǎng)絡(luò)兩層網(wǎng)絡(luò)（前饋全連接網(wǎng)絡(luò)）人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)7.1人工神經(jīng)網(wǎng)絡(luò)介紹多層網(wǎng)絡(luò)三層網(wǎng)絡(luò)（前饋全連接網(wǎng)絡(luò)）人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)7.1人工神經(jīng)網(wǎng)絡(luò)介紹多層網(wǎng)絡(luò)注意：在構(gòu)成多層網(wǎng)絡(luò)時，層間的轉(zhuǎn)移函數(shù)應(yīng)是非線性的，否則多層網(wǎng)絡(luò)的計算能力并不比單層網(wǎng)絡(luò)強(qiáng)。若干的線性單元層疊加還是線性單元。在線性轉(zhuǎn)移函數(shù)的情況下，兩層網(wǎng)絡(luò)輸出的計算是第一層的輸出xW1作為第二層的輸入，通過第二個加權(quán)矩陣得到網(wǎng)絡(luò)的輸出

y=(xW1)W2=x(W1W2)這表明兩層線性網(wǎng)絡(luò)等效于單層網(wǎng)絡(luò)，只是后者的加權(quán)矩陣為兩個加權(quán)矩陣的乘積。人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)7.1人工神經(jīng)網(wǎng)絡(luò)介紹回歸型網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）一般來說，凡包含反饋連接的網(wǎng)絡(luò)均稱為回歸型網(wǎng)絡(luò)，或稱反饋網(wǎng)絡(luò)。一層反饋網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)7.1人工神經(jīng)網(wǎng)絡(luò)介紹回歸型網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）二層反饋網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)7.1人工神經(jīng)網(wǎng)絡(luò)介紹人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)根據(jù)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)，通常把神經(jīng)網(wǎng)絡(luò)模型分成三種類型：反饋型網(wǎng)絡(luò)(feedbacknetwork)前饋型網(wǎng)絡(luò)(feedforwardnetwork)競爭學(xué)習(xí)網(wǎng)絡(luò)(competitivelearningnetwork)用正號（“+”，可省略）表示傳送來的信號起刺激作用，它用于增加神經(jīng)元的活躍度；用負(fù)號（“-”）表示傳送來的信號起抑制作用，它用于降低神經(jīng)元的活躍度。7.1人工神經(jīng)網(wǎng)絡(luò)介紹前饋型網(wǎng)絡(luò)(feedforwardnetwork)

基本特點(diǎn)：結(jié)點(diǎn)按照一定的層次排列；網(wǎng)絡(luò)是單向的，信號只能按照單一的方向，從下一層結(jié)點(diǎn)傳遞到相應(yīng)的上一層結(jié)點(diǎn)；上層結(jié)點(diǎn)與下一層所有結(jié)點(diǎn)相聯(lián)接。層間（Inter-field）聯(lián)接

代表網(wǎng)絡(luò)：多層感知機(jī)徑向基函數(shù)網(wǎng)絡(luò)7.1人工神經(jīng)網(wǎng)絡(luò)介紹反饋型網(wǎng)絡(luò)(feedbacknetwork)

基本特點(diǎn)：輸入信號作用于神經(jīng)元結(jié)點(diǎn)后，各個結(jié)點(diǎn)的輸出又作為輸入反饋到各結(jié)點(diǎn)，形成一個動態(tài)系統(tǒng)，當(dāng)系統(tǒng)穩(wěn)定后讀取其輸出；層間（Inter-field）聯(lián)接循環(huán)聯(lián)接

代表網(wǎng)絡(luò)：Hopfield網(wǎng)絡(luò)7.1人工神經(jīng)網(wǎng)絡(luò)介紹競爭學(xué)習(xí)網(wǎng)絡(luò)(competitivelearningnetwork)基本特點(diǎn)：神經(jīng)元結(jié)點(diǎn)通常排列在同一個層次上；沒有反饋聯(lián)接，但是結(jié)點(diǎn)之間有橫向的聯(lián)接或相互影響；在學(xué)習(xí)時通過神經(jīng)元之間的競爭實現(xiàn)特定的映射。層內(nèi)（Intra-field）聯(lián)接代表網(wǎng)絡(luò)：自組織映射(SOM)網(wǎng)絡(luò)7.1人工神經(jīng)網(wǎng)絡(luò)介紹感知器是一種早期的神經(jīng)網(wǎng)絡(luò)模型，由美國學(xué)者F.Rosenblatt于1957年提出。感知器中第一次引入了學(xué)習(xí)的概念，使人腦所具備的學(xué)習(xí)功能在基于符號處理的數(shù)學(xué)到了一定程度的模擬，所以引起了廣泛的關(guān)注。簡單感知器：簡單感知器模型實際上仍然是M-P模型的結(jié)構(gòu)。它是一種單層感知器模型，一層為輸入層（只負(fù)責(zé)接收輸入信號，無信息處理能力），另一層具有計算單元，可以通過采用監(jiān)督學(xué)習(xí)來逐步增強(qiáng)模式劃分的能力，達(dá)到學(xué)習(xí)的目的。7.1人工神經(jīng)網(wǎng)絡(luò)介紹感知器模型單輸出的感知器(M-P模型)輸入層神經(jīng)元輸出層神經(jīng)元多輸出的感知器輸入層神經(jīng)元輸出層神經(jīng)元7.1人工神經(jīng)網(wǎng)絡(luò)介紹49單神經(jīng)元感知器實例一般來說，感知器的激活函數(shù)采用階躍或符號函數(shù)。7.1人工神經(jīng)網(wǎng)絡(luò)介紹感知器(perceptron)：單層感知器，通過監(jiān)督學(xué)習(xí)建立模式識別能力.多神經(jīng)元感知器7.1人工神經(jīng)網(wǎng)絡(luò)介紹51單層感知器功能——部分邏輯函數(shù)7.1人工神經(jīng)網(wǎng)絡(luò)介紹單層感知器無法解決異或(XOR)問題

g（x,y）y01x001110解決方法：多層感知器7.1人工神經(jīng)網(wǎng)絡(luò)介紹7.1人工神經(jīng)網(wǎng)絡(luò)介紹多層感知器的設(shè)計多層感知器可以逼近任意的多元非線性函數(shù)輸入層單元數(shù)=輸入變量/特征維數(shù)輸出層單元數(shù)=模式類數(shù)/待逼近的函數(shù)個數(shù)隱層單元數(shù)：無有效方法網(wǎng)絡(luò)初始化對結(jié)果有影響，通常用較小的隨機(jī)數(shù)學(xué)習(xí)率η的選擇7.1人工神經(jīng)網(wǎng)絡(luò)介紹在感知器算法中我們實際上是在利用理想輸出與實際輸出之間的誤差作為增量來修正權(quán)值，然而在多層感知器中，我們只能計算出輸出層的誤差，中間隱層由于不直接與外界連接，其誤差無法估計。反向傳播算法（BP算法）的思想：從后向前反向逐層傳播輸出層的誤差，以間接計算隱層的誤差。算法可以分為兩個階段：正向過程：從輸入層經(jīng)隱層逐層正向計算各單元的輸出；反向過程：由輸出誤差逐層反向計算隱層各單元的誤差，并用此誤差修正前層的權(quán)值。反向傳播算法（BP）7.1人工神經(jīng)網(wǎng)絡(luò)介紹56學(xué)習(xí)從一個未訓(xùn)練的網(wǎng)絡(luò)開始；向輸入層提供一個訓(xùn)練樣本，前饋獲得誤差；誤差或準(zhǔn)則函數(shù)是權(quán)值的某種標(biāo)量函數(shù)（如：最小平方誤差LMS準(zhǔn)則），它在網(wǎng)絡(luò)輸出與期望輸出匹配時達(dá)到最??；學(xué)習(xí)算法：將權(quán)值向著可以減小誤差值的方向調(diào)整；BP算法對每個隱單元計算有效誤差，并基于梯度下降法推導(dǎo)出一個從輸出層反向計算到第一個隱層的學(xué)習(xí)規(guī)則。7.1人工神經(jīng)網(wǎng)絡(luò)介紹57（1）選擇一組訓(xùn)練樣本，每一個樣本由輸入信息和期望的輸出結(jié)果兩部分組成。（2）從訓(xùn)練樣本集中取一樣本，把輸入信息輸入到網(wǎng)絡(luò)中。（3）分別計算經(jīng)神經(jīng)元處理后的各層結(jié)點(diǎn)的輸出。（4）計算網(wǎng)絡(luò)的實際輸出和期望輸出的誤差。（5）從輸出層反向計算到第一個隱層，并按照某種能使誤差向減小方向發(fā)展的原則，調(diào)整網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值。（6）對訓(xùn)練樣本集中的每一個樣本重復(fù)（3）-（5）的步驟，直到對整個訓(xùn)練樣本集的誤差達(dá)到要求時為止。BP算法的學(xué)習(xí)過程7.1人工神經(jīng)網(wǎng)絡(luò)介紹反向傳播算法中采用梯度法修正權(quán)值，為此要求輸出函數(shù)可微。通常采用Sigmoid函數(shù)作為輸出函數(shù)。下圖中，BP算法如何修正ωijiOiωijjOjkBP算法如何修正權(quán)值7.1人工神經(jīng)網(wǎng)絡(luò)介紹iOiωijjOj對于輸出層而言：是實際輸出值是理想輸出值定義最小均方誤差函數(shù)：情況一：單層網(wǎng)絡(luò)7.1人工神經(jīng)網(wǎng)絡(luò)介紹定義局部梯度：（這層的輸入對誤差的影響）權(quán)值ωij的修正量為：權(quán)值ωij對誤差E的影響：iOiωijjOj情況一：單層網(wǎng)絡(luò)7.1人工神經(jīng)網(wǎng)絡(luò)介紹61情況一：單層網(wǎng)絡(luò)計算此時，結(jié)點(diǎn)j為輸出結(jié)點(diǎn)，則：iOiωijjOj7.1人工神經(jīng)網(wǎng)絡(luò)介紹62情況二：多層網(wǎng)絡(luò)iOiωijjOjkωjk對于輸出層而言：是實際輸出值是理想輸出值定義最小均方誤差函數(shù)：7.1人工神經(jīng)網(wǎng)絡(luò)介紹63情況二：多層網(wǎng)絡(luò)iOiωijjOjkωjk此時，結(jié)點(diǎn)j不是輸出結(jié)點(diǎn)，則：7.1人工神經(jīng)網(wǎng)絡(luò)介紹對于Sigmoid函數(shù)：將其代入可以得到反向傳播算法的步驟如下：7.1人工神經(jīng)網(wǎng)絡(luò)介紹BP算法流程：(1)選定權(quán)系數(shù)初值(2)重復(fù)下述過程直至收斂(對各個樣本依次計算)1)從前向后各層計算各單元2)對輸出層計算3)從后向前計算各隱層7.1人工神經(jīng)網(wǎng)絡(luò)介紹4)計算并保存各個權(quán)值修正量：5)修正權(quán)值：以上算法是對每個樣本作權(quán)值修正（單樣本）也可以對各個樣本計算后求和，按照總誤差修正權(quán)值（批處理）7.1人工神經(jīng)網(wǎng)絡(luò)介紹BP算法的優(yōu)缺點(diǎn)優(yōu)點(diǎn)：理論基礎(chǔ)牢固，推導(dǎo)過程嚴(yán)謹(jǐn)，物理概念清晰，通用性好等。所以，它是目前用來訓(xùn)練前饋多層網(wǎng)絡(luò)較好的算法。缺點(diǎn)：BP算法的收斂速度一般來說比較慢；BP算法只能收斂于局部最優(yōu)解，不能保證收斂于全局最優(yōu)解；當(dāng)隱層元的數(shù)量足夠多時，網(wǎng)絡(luò)對訓(xùn)練樣本的識別率很高，但對測試樣本的識別率有可能很差，即網(wǎng)絡(luò)的推廣能力有可能較差。7.1人工神經(jīng)網(wǎng)絡(luò)介紹7.1人工神經(jīng)網(wǎng)絡(luò)介紹7.2常用神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)7.2.1SOM網(wǎng)絡(luò)SOM是一種自組織（競爭型）神經(jīng)網(wǎng)絡(luò)，除了SOM外，其他常見的自組織（競爭型）神經(jīng)網(wǎng)絡(luò)還有對偶傳播(CounterPropagation)網(wǎng)絡(luò)，自適應(yīng)共振理論（AdaptiveResonanceTheory）網(wǎng)絡(luò)等。1981年芬蘭Helsink大學(xué)的T.Kohonen教授提出一種自組織特征映射網(wǎng)，簡稱SOM網(wǎng)，又稱Kohonen網(wǎng)。Kohonen認(rèn)為：一個神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時，將會分為不同的對應(yīng)區(qū)域，各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征，且該過程是自動完成的。自組織特征映射正是根據(jù)這一看法提出，其特點(diǎn)與人腦的自組織特性相類似。7.2.1SOM網(wǎng)絡(luò)如圖7.10所示。該網(wǎng)絡(luò)由輸入層和輸出層組成，其中輸入層的神經(jīng)元個數(shù)的選取按輸入網(wǎng)絡(luò)的向量個數(shù)而定，輸入神經(jīng)元為一維矩陣，接收網(wǎng)絡(luò)的輸入信號，輸出層則是由神經(jīng)元按一定的方式排列成一個二維節(jié)點(diǎn)矩陣。輸入層的神經(jīng)元與輸出層的神經(jīng)元通過權(quán)值相互聯(lián)結(jié)在一起。當(dāng)網(wǎng)絡(luò)接收到外部的輸入信號以后，輸出層的某個神經(jīng)元便會“興奮”起來。圖7.10SMO神經(jīng)網(wǎng)絡(luò)模型SOM網(wǎng)絡(luò)特點(diǎn)：基本思想：網(wǎng)絡(luò)的競爭層的各神經(jīng)元競爭對輸入模式響應(yīng)的機(jī)會，最后僅有一個神經(jīng)元成為競爭的勝者。這一獲勝神經(jīng)元則表示對輸入模式的分類。學(xué)習(xí)算法：模擬生物神經(jīng)元之間的興奮、協(xié)調(diào)與抑制、競爭作用的信息處理的動力學(xué)原理來指導(dǎo)網(wǎng)絡(luò)的學(xué)習(xí)與工作，而不像多層神經(jīng)網(wǎng)絡(luò)那樣是以網(wǎng)絡(luò)的誤差作為算法的準(zhǔn)則。網(wǎng)絡(luò)結(jié)構(gòu)：一般是由輸入層和競爭層構(gòu)成的兩層網(wǎng)絡(luò)；兩層之間各神經(jīng)元實現(xiàn)雙向連接，而且網(wǎng)絡(luò)沒有隱含層。有時競爭層各神經(jīng)元之間還存在橫向連接。7.2.1SOM網(wǎng)絡(luò)網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競爭以求被激活，每一時刻只有一個輸出神經(jīng)元被激活，即為獲勝者。競爭學(xué)習(xí)的步驟：（1）向量歸一化，對當(dāng)前向量和全部神經(jīng)元做歸一化（2）尋找獲勝神經(jīng)元，依據(jù)相似度評價（3）網(wǎng)絡(luò)輸出與權(quán)值調(diào)整步驟（3）完成后回到步驟1繼續(xù)訓(xùn)練，直到學(xué)習(xí)率衰減到0。學(xué)習(xí)率處于（0，1]，一般隨著學(xué)習(xí)的進(jìn)展而減小，神經(jīng)元（權(quán)重）趨于聚類中心。7.2.1SOM網(wǎng)絡(luò)徑向基函數(shù)網(wǎng)絡(luò)（RBF網(wǎng)絡(luò)）是一種常用的前饋神經(jīng)網(wǎng)絡(luò)。（拓?fù)浣Y(jié)構(gòu)比較固定）

特征：只有一個隱層；隱層單元采用徑向基函數(shù)作為輸出函數(shù)；（非線性映射，將原始空間投影到高維，從而線性可分。）輸入層到隱層單元間的權(quán)值固定為1；輸出結(jié)點(diǎn)為線性求和單元隱層到輸出結(jié)點(diǎn)的權(quán)值可調(diào)7.2.2RBF網(wǎng)絡(luò)徑向基函數(shù)的作用往往是局部的，離中心越遠(yuǎn)函數(shù)值越小。常用的徑向基函數(shù)是高斯函數(shù)。其中：輸入向量第i個隱結(jié)點(diǎn)的中心徑向基函數(shù)（RadialBasisFunction）：某種沿徑向?qū)ΨQ的標(biāo)量函數(shù)。通常定義為空間中任意一點(diǎn)到某一中心之間歐氏距離的單調(diào)函數(shù)。記為：中心和寬度兩個參數(shù)可調(diào)7.2.2RBF網(wǎng)絡(luò)可以從兩個方面理解RBF網(wǎng)絡(luò)函數(shù)逼近：把網(wǎng)絡(luò)看成對未知函數(shù)f(x)的逼近器。一般任何函數(shù)都可以表示成一組基函數(shù)的加權(quán)和，這相當(dāng)于用隱層單元的輸出函數(shù)構(gòu)成一組基函數(shù)來逼近f(x)。線性分類：把隱層看做是對輸入的非線性映射（通常將低維線性不可分的樣本映射到高維空間），再用線性分類器（輸出結(jié)點(diǎn)的輸出函數(shù)是線性函數(shù)）分類。7.2.2RBF網(wǎng)絡(luò)RBF網(wǎng)絡(luò)學(xué)習(xí)算法RBF網(wǎng)絡(luò)中有三組參數(shù)可調(diào)：隱層基函數(shù)的中心、方差，以及隱層結(jié)點(diǎn)與輸出結(jié)點(diǎn)之間的權(quán)值。RBF網(wǎng)絡(luò)學(xué)習(xí)算法的兩個階段確定RBF函數(shù)的中心（核函數(shù)的參數(shù)）：無師學(xué)習(xí)訓(xùn)練隱層與輸出結(jié)點(diǎn)之間的權(quán)值：有師學(xué)習(xí)7.2.2RBF網(wǎng)絡(luò)RBF網(wǎng)絡(luò)學(xué)習(xí)算法Step1：對所有樣本的輸入進(jìn)行聚類（可以采用k均值聚類算法），求得各隱層結(jié)點(diǎn)RBF函數(shù)的中心。Step2：當(dāng)RBF函數(shù)的中心ci確定后，訓(xùn)練隱層與輸出結(jié)點(diǎn)之間的權(quán)值。這是一個線性優(yōu)化問題。（利用訓(xùn)練樣本監(jiān)督完成，如最小二乘法，梯度下降法）7.2.2RBF網(wǎng)絡(luò)RBF網(wǎng)絡(luò)的優(yōu)缺點(diǎn)RBF網(wǎng)絡(luò)與BP網(wǎng)絡(luò)主要的不同點(diǎn)是：在非線性映射上采用了不同的輸出函數(shù)，分別為徑向基函數(shù)與Sigmoid函數(shù)。前者的作用是局部的，后者的作用是全局的。已經(jīng)證明，RBF網(wǎng)絡(luò)具有唯一最佳逼近的特性，且無局部極小，可以獲得全局最優(yōu)解。徑向基函數(shù)、隱層結(jié)點(diǎn)個數(shù)難以確定（人工神經(jīng)網(wǎng)絡(luò)的公共問題），目前尚無解決方案。隱層結(jié)點(diǎn)RBF函數(shù)的中心難以求解，阻礙了RBF網(wǎng)絡(luò)的廣泛應(yīng)用。7.2.2RBF網(wǎng)絡(luò)7.2.3BP網(wǎng)絡(luò)BP(BackPropagation)神經(jīng)網(wǎng)絡(luò)是1986年由Rumelhart和McClelland為首的科學(xué)家提出的概念，是一種按照誤差逆向傳播算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)具有任意復(fù)雜的模式分類能力和優(yōu)良的多維函數(shù)映射能力，解決了簡單感知器不能解決的異或(ExclusiveOR，XOR)和一些其他問題。從結(jié)構(gòu)上講，BP網(wǎng)絡(luò)具有輸入層、隱藏層和輸出層；從本質(zhì)上講，BP算法就是以網(wǎng)絡(luò)誤差平方為目標(biāo)函數(shù)、采用梯度下降法來計算目標(biāo)函數(shù)的最小值。BP神經(jīng)網(wǎng)絡(luò)基本原理：BP神經(jīng)網(wǎng)絡(luò)的基本思想是梯度下降法，利用梯度搜索技術(shù)，以期使網(wǎng)絡(luò)的實際輸出值和期望輸出值的誤差均方差為最小。正向傳播時，輸入信號通過隱含層作用于輸出節(jié)點(diǎn)，經(jīng)過非線性變換，產(chǎn)生輸出信號，若實際輸出與期望輸出不相符，則轉(zhuǎn)入誤差的反向傳播過程。反向傳播時，將輸出誤差通過隱含層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層所有單元，以從各層獲得的誤差信號作為調(diào)整各單元權(quán)值的依據(jù)。通過調(diào)整輸入節(jié)點(diǎn)與隱層節(jié)點(diǎn)的聯(lián)接強(qiáng)度和隱層節(jié)點(diǎn)與輸出節(jié)點(diǎn)的聯(lián)接強(qiáng)度以及閾值，使誤差沿梯度方向下降，經(jīng)過反復(fù)學(xué)習(xí)訓(xùn)練，確定與最小誤差相對應(yīng)的網(wǎng)絡(luò)參數(shù)(權(quán)值和閾值)，訓(xùn)練即告停止。7.2.3BP網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：BP網(wǎng)絡(luò)是在輸入層與輸出