Python數(shù)據(jù)挖掘與機器學習第9章神經(jīng)網(wǎng)絡與深度學習第8章聚類本章內(nèi)容神經(jīng)網(wǎng)絡基礎BP神經(jīng)網(wǎng)絡深度學習10十一月20242第

9章神經(jīng)網(wǎng)絡與深度學習3神經(jīng)網(wǎng)絡基礎神經(jīng)網(wǎng)絡（NeuralNetwork）最早由心理學家和神經(jīng)學家開創(chuàng)，旨在尋求開發(fā)和檢驗神經(jīng)的計算模擬。它是由具有適應性的簡單單元組成的廣泛并行互連的網(wǎng)絡，它的組織能模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應。今天的“神經(jīng)網(wǎng)絡”已是一個相當大的、多學科交叉的學科領域。神經(jīng)網(wǎng)絡可以用于分類（預測給定元組的類標號）和數(shù)值預測（預測連續(xù)值輸出）等。人工神經(jīng)元（簡稱神經(jīng)元）是神經(jīng)網(wǎng)絡的基本組成單元，它是對生物神經(jīng)元的模擬、抽象和簡化。現(xiàn)代神經(jīng)生物學的研究表明，生物神經(jīng)元是由細胞體、樹突和軸突組成的。通常一個神經(jīng)元包含一個細胞體和一條軸突，但有一個至多個樹突。

7.1.1神經(jīng)元4生物神經(jīng)元第9章神經(jīng)網(wǎng)絡與深度學習5

1神經(jīng)元模型神經(jīng)網(wǎng)絡中最基本的成分是神經(jīng)元（Neuron）模型。生物神經(jīng)網(wǎng)絡中的每個神經(jīng)元彼此互連，當它“興奮”時，就會向相連的神經(jīng)元發(fā)送化學物質，從而改變這些神經(jīng)元內(nèi)的電位。如果某神經(jīng)元的電位超過一個閾值，它就會被激活，即“興奮”起來，向其他神經(jīng)元發(fā)送化學物質。1943年，美國心理學家麥卡洛克(McCulloch)和數(shù)學家皮特斯（Pitts）按照生物神經(jīng)元的結構和工作原理建立了M-P模型。第9章神經(jīng)網(wǎng)絡與深度學習61神經(jīng)元模型在M-P模型中，為了使得建模更加簡單，以便于進行形式化表達，忽略時間整合作用、不應期等復雜因素，并把神經(jīng)元的突觸時延和強度當成常數(shù)。

第9章神經(jīng)網(wǎng)絡與深度學習7第9章神經(jīng)網(wǎng)絡與深度學習8由于累加性，對全部輸入信號進行累加整合，相當于生物神經(jīng)元中的膜電位，其值為：第9章神經(jīng)網(wǎng)絡與深度學習9第9章神經(jīng)網(wǎng)絡與深度學習2感知機與多層網(wǎng)絡感知器(Perceptron)由兩層神經(jīng)元組成，如圖9-3所示。這個結構非常簡單，它其實就是輸入輸出兩層神經(jīng)元之間的簡單連接。10十一月202410第9章神經(jīng)網(wǎng)絡與深度學習10十一月202411感知機（Perceptron）1957年由Rosenblatt提出，是神經(jīng)網(wǎng)絡與支持向量機的基礎；輸入為特征向量，輸出為實例的類別，取+1和-1；感知機對應于輸入空間中將實例劃分為正負兩類的超平面，屬于判別模型；導入基于誤分類的損失函數(shù)；利用梯度下降法對損失函數(shù)進行極小化；感知機學習算法具有簡單而易于實現(xiàn)的優(yōu)點，分為原始形式和對偶形式。

7.1.1神經(jīng)元12第9章神經(jīng)網(wǎng)絡與深度學習

7.1.1神經(jīng)元13步數(shù)操作123重復第2步，直到?jīng)]有誤分類點第9章神經(jīng)網(wǎng)絡與深度學習用神經(jīng)網(wǎng)絡來模擬邏輯代數(shù)中的異或運算7.1.2神經(jīng)網(wǎng)絡14第9章神經(jīng)網(wǎng)絡與深度學習用神經(jīng)網(wǎng)絡來模擬邏輯代數(shù)中的異或運算代表異或運算的點是線性不可分的，因此無法用感知機模擬，此時可以將三個分布模擬與非、或和與運算的感知機連接在一起，共同完成異或運算。7.1.2神經(jīng)網(wǎng)絡15第9章神經(jīng)網(wǎng)絡與深度學習神經(jīng)元模型在神經(jīng)網(wǎng)絡中的畫法單個神經(jīng)元只能劃分線性可分的二分類點。如果將神經(jīng)元連接成神經(jīng)網(wǎng)絡，則處理能力會大為增強，這也是神經(jīng)網(wǎng)絡得到廣泛應用的原因。7.1.2神經(jīng)網(wǎng)絡16第9章神經(jīng)網(wǎng)絡與深度學習第9章神經(jīng)網(wǎng)絡與深度學習要解決非線性可分問題需要使用多層感知器（多層網(wǎng)絡）來解決。多層感知機（MultilayerPerceptron，MLP）除了輸入輸出層，中間可以有多個隱層。最簡單的MLP只含一個隱層，即三層的結構。更一般的，常見的神經(jīng)網(wǎng)絡是形如圖9.4所示的機構這樣的網(wǎng)絡結構通常稱為多層前饋神經(jīng)網(wǎng)絡（Multi-layerFeedforwardNeuralNetworks）。10十一月202417第9章神經(jīng)網(wǎng)絡與深度學習2BP神經(jīng)網(wǎng)絡多層網(wǎng)絡的學習能力比單層感知機強很多，要訓練多層網(wǎng)絡，簡單的感知機學習規(guī)則顯然不夠，需要更強大的學習算法。誤差逆?zhèn)鞑ィ‥rrorBackPropagation）算法就是學習算法中的杰出代表?，F(xiàn)實任務中使用神經(jīng)網(wǎng)絡時，大多是使用BP算法進行訓練。需要注意的是，BP算法不僅可以用于多層前饋神經(jīng)網(wǎng)絡，還可以用于其他類型的神經(jīng)網(wǎng)絡。通常說BP網(wǎng)絡時，常指利用BP算法訓練的多層前饋神經(jīng)網(wǎng)絡。神經(jīng)網(wǎng)絡可以用于分類（預測給定元組的類標號）和數(shù)值預測（預測連續(xù)值輸出）等。10十一月202418第9章神經(jīng)網(wǎng)絡與深度學習多層前饋神經(jīng)網(wǎng)絡由一個輸入層、一個或多個隱層和一個輸出層組成，如圖9-5所示。它利用后向傳播算法迭代地學習用于元組類標號預測的一組權重。10十一月202419第9章神經(jīng)網(wǎng)絡與深度學習后向傳播算法后向傳播通過迭代地處理訓練元組數(shù)據(jù)集，把每個元組的網(wǎng)絡預測與實際已知的目標值相比較進行學習。對于每個訓練樣本，修改權重使得網(wǎng)絡預測和實際目標值之間的均方誤差最小。這種修改“后向”進行，即由輸出層，經(jīng)由每個隱層到第一個隱藏層。BP算法的主要思想是把訓練過程分為兩個階段：1.第一階段（正向傳播過程）10十一月202420第9章神經(jīng)網(wǎng)絡與深度學習2.第二階段（反向傳播過程）若在輸出層不能得到期望的輸出值，那么逐層遞歸地計算實際輸出與期望輸出的差值，以便根據(jù)差值調節(jié)權值。BP算法基于梯度下降（GradientDescent）策略，以目標的負梯度方向對參數(shù)進行調整。10十一月202421第9章神經(jīng)網(wǎng)絡與深度學習10十一月202422第9章神經(jīng)網(wǎng)絡與深度學習10十一月202423第9章神經(jīng)網(wǎng)絡與深度學習10十一月202424第9章神經(jīng)網(wǎng)絡與深度學習10十一月202425第9章神經(jīng)網(wǎng)絡與深度學習【例9-1】利用后向傳播算法學習的樣本計算。圖9.6給出了一個多層前饋神經(jīng)網(wǎng)絡，令學習率為0.9，第一個訓練元組為X={1,0,1}，類標號Y=1。計算每個單元的凈輸入和輸出。10十一月202426第9章神經(jīng)網(wǎng)絡與深度學習（1）隨機初始化參數(shù)值如表9.1中的數(shù)值。（2）根據(jù)BP算法中的前饋過程，計算凈輸入和輸出的值，結果如表9.2所示。（3）計算每個結點的誤差，結果見表9.3。（4）更新權重和偏倚，結果見表9.4。10十一月202427第9章神經(jīng)網(wǎng)絡與深度學習10十一月202428BP神經(jīng)網(wǎng)絡具有簡單易行、計算量小和并行性強的有點，但也存在學習效率低、收斂速度慢等問題。BP神經(jīng)網(wǎng)絡具體有點和缺點如表9-2所示。表9-2BP神經(jīng)網(wǎng)絡的優(yōu)缺點優(yōu)點缺點（1）BP算法根據(jù)預設參數(shù)的更新規(guī)則不斷調整網(wǎng)絡中的參數(shù)，能夠自適應自主學習；（2）BP神經(jīng)網(wǎng)絡具有很強的非線性映射能力；（3）誤差的反向傳播所采用的鏈式法則具有嚴謹?shù)耐茖н^程；（4）BP算法具有很強的泛化能力。（1）BP神經(jīng)網(wǎng)絡參數(shù)眾多，每次迭代要更新眾多數(shù)量的參數(shù)，故收斂速度較慢；（2）網(wǎng)絡中隱層節(jié)點數(shù)目設定沒有明確的準則，只能通過實驗根據(jù)網(wǎng)絡誤差確定最終隱含層節(jié)點個數(shù)；（3）BP算法是一種快速的梯度下降算法，但對初始參數(shù)敏感且容易陷入局部極小值。3深度學習理論上來說，參數(shù)越多的模型復雜度越高、容量越大，這意味著它能完成更復雜的學習任務。但一般情形下，復雜模型的訓練效率低，易陷入過擬合。隨著云計算、大數(shù)據(jù)時代的到來，計算能力的大幅提高可以緩解訓練的低效性，訓練數(shù)據(jù)的大幅增加可以降低過擬合風險。因此，以深度學習（DeepLearning，DL）為代表的復雜模型受到了關注。10十一月2024293深度學習深度學習是機器學習領域中一個新的研究方向。它使機器模仿視聽和思考等人類的活動，解決了很多復雜的模式識別難題，使得人工智能相關技術取得了很大進步。深度學習是一類模式分析方法的統(tǒng)稱，就具體研究內(nèi)容而言，主要涉及三類方法：（1）基于卷積運算的神經(jīng)網(wǎng)絡系統(tǒng)，即卷積神經(jīng)網(wǎng)絡（ConvolutionalNeuralNetwork，CNN）。（2）基于多層神經(jīng)元的自編碼神經(jīng)網(wǎng)絡，包括自編碼（AutoEncoder）以及近年來受到廣泛關注的稀疏編碼兩類（SparseCoding）。（3）以多層自編碼神經(jīng)網(wǎng)絡的方式進行預訓練，進而結合鑒別信息進一步優(yōu)化神經(jīng)網(wǎng)絡權值的深度置信網(wǎng)絡（DBN）。10十一月2024303深度學習常用的深度學習算法常見的深度學習算法主要包括卷積神經(jīng)網(wǎng)絡、循環(huán)神經(jīng)網(wǎng)絡和生成對抗神經(jīng)網(wǎng)絡（GenerativeAdversarialNetwork，GAN）等。這些算法是深度學習的基礎算法，在各種深度學習相關系統(tǒng)中均有不同程度的應用。10十一月2024313深度學習1.卷積神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡（ConvolutionalNeuralNetwork，CNN）是第一個被成功訓練的多層神經(jīng)網(wǎng)絡結構，具有較強的容錯、自學習及并行處理能力。CNN最初是為識別二維圖像形狀而設計的多層感知器，局部聯(lián)結和權值共享網(wǎng)絡結構類似于生物神經(jīng)網(wǎng)絡，降低神經(jīng)網(wǎng)絡模型的復雜度，減少權值數(shù)量，使網(wǎng)絡對于輸入具備一定的不變性。經(jīng)典的LeNet-5卷積神經(jīng)網(wǎng)絡結構圖如圖9-7所示。10十一月2024323深度學習經(jīng)典的LeNet-5卷積神經(jīng)網(wǎng)絡包括了輸入層、卷積層、池化層、全連接層和輸出層。（1）輸入層（2）卷積層（3）池化層（4）全連接層（5）輸出層10十一月2024333深度學習循環(huán)神經(jīng)網(wǎng)絡循環(huán)神經(jīng)網(wǎng)絡（RecurrentNeuralNetwork,RNN）是一類以序列數(shù)據(jù)為輸入，在序列的演進方向進行遞歸且所有結點（循環(huán)單元）按鏈式連接的遞歸神經(jīng)網(wǎng)絡（RecursiveNeuralNetwork）。之所以是“循環(huán)”，是因為其中隱含層結點的輸出不僅取決于當前輸入值，還與上一次的輸入相關，即結點的輸出可以指向自身，進行循環(huán)遞歸運算，在處理時間序列相關的場景時效果明顯，在分析語音、視頻、天氣預報、股票走勢預測等方面具有突出優(yōu)勢。10十一月2024343深度學習生成對抗網(wǎng)絡生成式對抗網(wǎng)絡（GenerativeAdversarialNetworks，GAN）是一種深度學習模型，是近年來復雜分布上無監(jiān)督學習最具前景的方法之一。它解決的問題是從現(xiàn)有樣本中學習并創(chuàng)建出新的樣本，按照人類對事物的學習過程，逐漸總結規(guī)律，而并非使用大量數(shù)據(jù)訓練，所以在新的任務處理中，只需要少量的標記樣本就可以訓練出高效的分類器。GAN網(wǎng)絡模型通過生成模型（GenerativeModel）和判別模型（DiscriminativeModel）的互相博弈學習產(chǎn)生相當好的輸出。10十一月202435本章小結神經(jīng)網(wǎng)絡是由具有適應性的簡單單元組成的廣泛并行互連的網(wǎng)絡，它的組織能模擬生物神經(jīng)系統(tǒng)會真實世界物體所作出的交互反應

。在機器學習中談論神經(jīng)網(wǎng)絡時一般指的是“神經(jīng)網(wǎng)絡學習”。感知機感知器的概念類似于大腦基本處理單元神經(jīng)元的工作原理。感知器具有許多輸入（通常稱為特征），這些輸入被饋送到產(chǎn)生一個二元輸出的線性單元中。因此，感知器可用于解決二元分類問題，其中樣本將被識別為屬于預定義的兩個類之一。BP算法基于梯度下降策略，以目標的負梯度方向對網(wǎng)絡參數(shù)進行調整?，F(xiàn)實任務中使用神經(jīng)網(wǎng)絡時，大多是使用BP算法進行訓練。BP算法不僅可以用于多層前饋神經(jīng)網(wǎng)絡，還可以用于其他類型的神經(jīng)網(wǎng)絡。通常所說的BP網(wǎng)絡指利用BP算法訓練的多層前饋神經(jīng)網(wǎng)絡。10十一月202436深度學習的概念源于人工神經(jīng)網(wǎng)絡的研究，含多個隱藏層的