第11章神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

11.1從生物神經(jīng)元到人工神經(jīng)元

11.2神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)

11.3感知器及其學(xué)習(xí)舉例

11.4BP網(wǎng)絡(luò)及其學(xué)習(xí)舉例

11.5深度學(xué)習(xí)

延伸學(xué)習(xí)導(dǎo)引

11.1從生物神經(jīng)元到人工神經(jīng)元1.生物神經(jīng)元

生物神經(jīng)元的基本結(jié)構(gòu)2.人工神經(jīng)元

人工神經(jīng)元結(jié)構(gòu)模型人工神經(jīng)元的輸入輸出關(guān)系可描述為：常見的幾種神經(jīng)元激活函數(shù)1.階躍函數(shù)2.Sigmoid函數(shù)3.分段線性函數(shù)

11.2神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)

11.2.1神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)與功能(1)分層前向網(wǎng)絡(luò)(2)反饋前向網(wǎng)絡(luò)(3)互連前向網(wǎng)絡(luò)(4)廣泛互連網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型神經(jīng)網(wǎng)絡(luò)至少可以實現(xiàn)如下功能：

數(shù)學(xué)上的映射逼近

數(shù)據(jù)聚類、壓縮

聯(lián)想記憶

優(yōu)化計算和組合優(yōu)化問題求解

模式分類

概率密度函數(shù)的估計11.2.2神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)理與方法

1.學(xué)習(xí)規(guī)則

?Hebb規(guī)則：

?最基本的誤差修正規(guī)則,即δ學(xué)習(xí)規(guī)則：

(1)選擇一組初始權(quán)值Wij(0)。

(2)計算某一輸入模式對應(yīng)的實際輸出與期望輸出的誤差（dj－yj）。

(3)用下式更新權(quán)值(閾值可視為輸入恒為-1的一個權(quán)值)

Wij(t＋1)=Wij(t)＋η［dj－yj(t)］xi(t)

(4)返回(2)，直到對所有訓(xùn)練模式網(wǎng)絡(luò)輸出均能滿足要求。

2.學(xué)習(xí)方法

根據(jù)樣例數(shù)據(jù)的特點神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)之分。

從神經(jīng)網(wǎng)絡(luò)內(nèi)部狀態(tài)變化的角度來分，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)可分為權(quán)值修正、拓?fù)渥兓?、?quán)值與拓?fù)湫拚N。

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)還可分為確定性學(xué)習(xí)與隨機(jī)性學(xué)習(xí)。

此外，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)還有競爭學(xué)習(xí)、BP學(xué)習(xí)、玻爾茲曼學(xué)習(xí)、遷移學(xué)習(xí)、深度學(xué)習(xí)等提法。

11.2.3神經(jīng)網(wǎng)絡(luò)模型及其分類

1.按網(wǎng)絡(luò)結(jié)構(gòu)分類前向（饋）網(wǎng)絡(luò)反饋網(wǎng)絡(luò)2.按學(xué)習(xí)方式分類有監(jiān)督（導(dǎo)師）學(xué)習(xí)網(wǎng)絡(luò)無監(jiān)督（導(dǎo)師）學(xué)習(xí)網(wǎng)絡(luò)3.按網(wǎng)絡(luò)的狀態(tài)分類連續(xù)型網(wǎng)絡(luò)離散型網(wǎng)絡(luò)4.按網(wǎng)絡(luò)的活動方式分類確定性網(wǎng)絡(luò)隨機(jī)性網(wǎng)絡(luò)11.3感知器及其學(xué)習(xí)舉例感知器（perceptron）最初是指僅有一個神經(jīng)元的最簡單的神經(jīng)網(wǎng)絡(luò)，由FrankRosenblatt于1957年提出。這種感知器與MP模型并無本質(zhì)區(qū)別，只是它已經(jīng)有了學(xué)習(xí)算法。一般將感知器圖示為如圖11-5的形式。

感知器的激活函數(shù)通常取階躍函數(shù)或符號函數(shù)（也可以取其它函數(shù)）。感知器的輸出y與輸入x之間的關(guān)系為

感知器學(xué)習(xí)算法

——————————————————————————

(1)給權(quán)向量w賦初值，并設(shè)置一個合適的學(xué)習(xí)率

(0,1]；

(2)對訓(xùn)練樣例(xi,yi)(i=1,2,…,n)：計算yi’=f(wTxi)；計算誤差e=

yi

yi’；更新權(quán)值：w=

w+

exi(11-13)(3)直到對所有訓(xùn)練樣例都有e=0，則當(dāng)前權(quán)向量w即為所求，訓(xùn)練結(jié)束。否則轉(zhuǎn)(2)；

—————————————————————————

例11-1

試用下面表11-2所示的樣例數(shù)據(jù)訓(xùn)練一個感知器。由樣例數(shù)據(jù)知，所訓(xùn)練的感知器為一個二輸入、單輸出感知器。首先取階躍函數(shù)為該網(wǎng)絡(luò)的激活函數(shù)，并令x0=

1，于是所求函數(shù)的模型為y=step(w1x1+w2x2

w0)；然后置初值：w0=0.6，w1=0.4，w2=0.8；取學(xué)習(xí)率

=0.4；執(zhí)行學(xué)習(xí)算法，該感知器的訓(xùn)練過程如表11-3所示。

可以看出，網(wǎng)絡(luò)訓(xùn)練結(jié)束于第三輪，最終的權(quán)值為：w0=1，w1=0.8，w2=0.4。于是，相應(yīng)的激活函數(shù)表達(dá)式就是y=step(0.8x1+0.4x2

1)(11-14)該函數(shù)的圖像（切塊）大致如圖11-6所示。

由圖可以看出，直線0.8x1+0.4x2

1=0將x1-x2平面分為兩部分，所以，函數(shù)g(x1,x2)=0.8x1+0.4x2

1也就是x1x2平面上點集的一個分類判別函數(shù)。于是，階躍函數(shù)y=step(0.8x1+0.4x2

1)則直接就是一個分類器；而且從效果看，這個分類器還是線性分類器。那么，一般地，函數(shù)y=step(wTxi)就直接構(gòu)成一個n維線性分類器。

11.4BP網(wǎng)絡(luò)及其學(xué)習(xí)舉例

BP(Back-Propagation)網(wǎng)絡(luò)的特點：

(1)BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)為分層前向（饋）網(wǎng)絡(luò)。

(2)神經(jīng)元的特性函數(shù)為Sigmoid型(S型)函數(shù),一般取為

(3)輸入為連續(xù)信號量(實數(shù))。

(4)學(xué)習(xí)方式為有監(jiān)督學(xué)習(xí)。

(5)學(xué)習(xí)算法為推廣的δ學(xué)習(xí)規(guī)則,稱為誤差反向傳播算法,簡稱BP學(xué)習(xí)算法。

BP學(xué)習(xí)算法：

例

11-2設(shè)計一個BP網(wǎng)絡(luò),對下表所示的樣本數(shù)據(jù)進(jìn)行學(xué)習(xí),使學(xué)成的網(wǎng)絡(luò)能解決類似的模式分類問題。表11-4網(wǎng)絡(luò)訓(xùn)練樣本數(shù)據(jù)輸

入輸

出x1

x2

x3y1

y2

y3

0.3

0.8

0.10.7

0.1

0.30.6

0.6

0.610

0

0

1

0

0

0

1BP網(wǎng)絡(luò)舉例

11.5深度學(xué)習(xí)11.5.1什么是深度學(xué)習(xí)深度學(xué)習(xí)（DeepLearning,DL），簡單來講，就是基于深度神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)或者說機(jī)器學(xué)習(xí)。這里的深度神經(jīng)網(wǎng)絡(luò)，一般地講，就是含有多個隱層的前向（前饋）神經(jīng)網(wǎng)絡(luò)，其隱層個數(shù)依具體問題可以是數(shù)個、數(shù)十個、數(shù)百個甚至數(shù)千個。不過，更準(zhǔn)確地說，深度神經(jīng)網(wǎng)絡(luò)的一個隱層可能是一行神經(jīng)元，也可能是一行由神經(jīng)元排列而成的矩陣，甚至是一行網(wǎng)絡(luò)模塊，而且各層神經(jīng)元之間并非必須是全連接。

深度學(xué)習(xí)的優(yōu)異效績主要歸功于以下兩點：其一：深度網(wǎng)絡(luò)有自動特征發(fā)現(xiàn)（Automatingfeaturediscovery）的潛質(zhì)和特性。其二：深度學(xué)習(xí)所采用的“逐層訓(xùn)練，多級學(xué)習(xí)（抽象）（learningmultiplelevelsofrepresentation）”等技術(shù)技巧。

11.5.2深度學(xué)習(xí)的優(yōu)勢除了學(xué)習(xí)效果優(yōu)異外，深度學(xué)習(xí)的優(yōu)勢和吸引力還在于需要較少的人工干預(yù)。事實上，采用深度學(xué)習(xí)，不需要手工制作正確的特征或合適的基函數(shù)（Basisfunction），也不必?fù)?dān)心網(wǎng)絡(luò)結(jié)構(gòu)。一旦有充足的數(shù)據(jù)和足夠強大的計算能力，就只需等待，讓學(xué)習(xí)算法獨自發(fā)現(xiàn)所需要的一切。11.5.3深度學(xué)習(xí)的發(fā)展和擴(kuò)展

深度置信網(wǎng)絡(luò)和深度卷積網(wǎng)絡(luò)（CNN）。

深度堆棧自編碼網(wǎng)絡(luò)、深度反卷積網(wǎng)絡(luò)、深度復(fù)卷積網(wǎng)絡(luò)、稀疏深度網(wǎng)絡(luò)、深度循環(huán)和遞歸網(wǎng)絡(luò)、深度生成網(wǎng)絡(luò)等。

深度融合網(wǎng)絡(luò)、深度貝葉斯網(wǎng)絡(luò)等。

深度循環(huán)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）和遞歸網(wǎng)絡(luò)（RecursiveNeuralNetwork，RNN），使深度學(xué)習(xí)的“深度”從原來的空間（網(wǎng)絡(luò)結(jié)構(gòu)）概念擴(kuò)展到時間（序列）概念。

長短期記憶網(wǎng)絡(luò)（LongShortTermMemory，LSTM）。

生成對抗網(wǎng)絡(luò)（GenerativeAdversarialNetwork,GAN）。

11.5.4深度學(xué)習(xí)框架與平臺

為了簡化編程，提高編程效率，現(xiàn)在網(wǎng)上已經(jīng)出現(xiàn)了一批支持深度學(xué)習(xí)編程的框架與平臺，其中開源的有TensorFlow、Caffe、Theano、Torch/PyTorch、Deeplearing4j、MXNet等。此外，國內(nèi)推出的深度學(xué)習(xí)框架有百度的PaddlePaddle等。

■TensorFlow

為Google開發(fā)的一款數(shù)值計算軟件。TensorFlow用數(shù)據(jù)流圖（DataFlowGraph）的形式進(jìn)行計算。圖中每個節(jié)點代表數(shù)據(jù)的數(shù)學(xué)運算或輸入輸出，其中輸入輸出可以是一個數(shù)或者張量（Tensor），節(jié)點間的連線代表張量（多維數(shù)組）之間的處理關(guān)系。用TensorFlow實現(xiàn)的項目可以靈活地部署在一個或多個CPU/GPU的服務(wù)器上，甚至可以被部署在移動設(shè)備上。TensorFlow是由研究人員和GoogleBrain團(tuán)隊針對機(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)而開發(fā)的，開源后幾乎可用于各個領(lǐng)域。TensorFlow是全世界用戶最多、社區(qū)最大的一個框架，有與Python和C++的接口。Caffe是加州大學(xué)伯克利的博士賈揚清用C++開發(fā)的，全稱為ConvolutionalArchitectureforFastFeatureEmbedding。Caffe是一個清晰而高效的開源深度學(xué)習(xí)框架，由伯克利視覺中心進(jìn)行維護(hù)。Caffe對卷積網(wǎng)絡(luò)的支持特別好，還提供了與C++、Matlab和Python的接口。Theano是一個進(jìn)行數(shù)值計算的Python庫（支持深度學(xué)習(xí)的軟件包，著名的有Blocks和Keras），其核心是一個數(shù)學(xué)表達(dá)式的編譯器，它知道如何獲取你的結(jié)構(gòu)，并使之成為一個使用numpy高效本地庫的高效代碼，并把它們部署在CPU或GPU上高效運行。Theano于2008年誕生于蒙特利爾理工學(xué)院，是專門為深度學(xué)習(xí)中處理大型神經(jīng)網(wǎng)絡(luò)而設(shè)計的。它是這類深度學(xué)習(xí)庫的首創(chuàng)之一，被認(rèn)為是深度學(xué)習(xí)研究和開發(fā)的行業(yè)標(biāo)準(zhǔn)。

■

Torch是一個含有大量機(jī)器學(xué)習(xí)算法的科學(xué)計算框架，其特點是特別靈活，但因其主要語言接口是Lua而使其推廣受到限制。由于現(xiàn)在Github上大部分深度學(xué)習(xí)框架的語言接口都是Python，因此Torch團(tuán)隊就用Python重寫了整個框架而得到了PyTorch。PyTorch不僅能實現(xiàn)強大的GPU加速，還支持動態(tài)神經(jīng)網(wǎng)絡(luò)。除了Facebook外，已經(jīng)被Twitter、CMU和Salesforce等機(jī)構(gòu)采用。延伸學(xué)習(xí)導(dǎo)引

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)有許多與統(tǒng)計學(xué)習(xí)平行的技術(shù)和方法，二者之間有一定交集和聯(lián)系，所以，可對比統(tǒng)計學(xué)習(xí)來學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。

結(jié)合編程實踐進(jìn)一步學(xué)習(xí)多層感知器和BP網(wǎng)絡(luò)的建模和學(xué)習(xí)算法，為進(jìn)一步學(xué)習(xí)深度學(xué)習(xí)奠定基礎(chǔ)。

除了感知器和BP網(wǎng)絡(luò)外，