第九章人工神經(jīng)網(wǎng)絡(luò)的負(fù)荷預(yù)測一.神經(jīng)網(wǎng)絡(luò)理論概述二.BP網(wǎng)絡(luò)原理與算法三.BP網(wǎng)絡(luò)在短期負(fù)荷預(yù)測中的應(yīng)用

教學(xué)要求：●了解神經(jīng)網(wǎng)絡(luò)的基本知識；●掌握BP及其改進(jìn)算法；●清楚BP網(wǎng)絡(luò)在短期負(fù)荷預(yù)測中的應(yīng)用；

教學(xué)難點(diǎn)：BP算法的權(quán)值修正的推導(dǎo)；

教學(xué)重點(diǎn)：BP算法的計算過程；一.神經(jīng)網(wǎng)絡(luò)概述

1.神經(jīng)網(wǎng)絡(luò)的定義

2.神經(jīng)網(wǎng)絡(luò)理論的發(fā)展

3.神經(jīng)網(wǎng)絡(luò)的分類

4.神經(jīng)網(wǎng)絡(luò)理論的應(yīng)用領(lǐng)域

5.神經(jīng)網(wǎng)絡(luò)的主要特性

6.神經(jīng)元的描述1.神經(jīng)網(wǎng)絡(luò)的定義人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetworks,ANN或NN)——是對人腦或自然神經(jīng)網(wǎng)絡(luò)若干基本特性的抽象和模擬。換句話說，是根據(jù)所掌握的生物神經(jīng)網(wǎng)絡(luò)機(jī)理的基本知識，按照控制工程的思路和數(shù)學(xué)描述方法，建立相應(yīng)的數(shù)學(xué)模型，并采用適當(dāng)?shù)乃惴ǎ嗅槍π缘拇_定數(shù)學(xué)模型的參數(shù)（如連接權(quán)值，閾值等），以便獲得某個特定問題的解。2.神經(jīng)網(wǎng)絡(luò)理論的發(fā)展概述1943年，心理學(xué)家Mcculloch和數(shù)學(xué)家Pitts提出M-P神經(jīng)元模型。1957年，美學(xué)者FrankRosenblatt提出感知機(jī)模型Perceptron。60年代，Widrow提出自適應(yīng)元件Adaline。1974年，美Werbos.P提出誤差反向傳播算法

(Back-Propagation)。1982年，美Hopfield提出HNN全互聯(lián)網(wǎng)絡(luò)模型及能量函數(shù)。1985年，Bumelhart發(fā)展了BP網(wǎng)絡(luò)算法，實現(xiàn)Minsky的多層網(wǎng)絡(luò)設(shè)想。3.神經(jīng)網(wǎng)絡(luò)的分類前向網(wǎng)絡(luò)（BP網(wǎng)絡(luò)）相互結(jié)合性網(wǎng)絡(luò)（Hopfield模型）①連接方式②網(wǎng)絡(luò)模型感知器多層映射BP網(wǎng)絡(luò)GMDH網(wǎng)絡(luò)RBF網(wǎng)絡(luò)雙向聯(lián)想記憶(BAM)Hopfield模型盒中腦(BSB)自適應(yīng)共振理論（ART）4.神經(jīng)網(wǎng)絡(luò)理論的用途

●函數(shù)逼近

●數(shù)據(jù)聚集

●模式分類

●優(yōu)化計算

●概率密度函數(shù)估計5.神經(jīng)網(wǎng)絡(luò)的基本特性●分布存儲和容錯性；●可塑性、自適應(yīng)性和自組織性；●并行處理性；●層次性；6.神經(jīng)元的描述多入——單出——從其它神經(jīng)元傳來的信號；——閾值（可看作-1的輸入,權(quán)為θi）；——神經(jīng)元j到神經(jīng)元i的連接權(quán)值；——傳遞函數(shù)（節(jié)點(diǎn)作用函數(shù)）；常用的作用函數(shù)

●高斯核函數(shù)

●閾值性函數(shù)

●S狀曲線

●分段線性函數(shù)二.BP網(wǎng)絡(luò)原理及算法

1.BP網(wǎng)絡(luò)的基本原理

2.BP算法的基本遞推關(guān)系式

3.BP算法的實現(xiàn)步驟

4.BP學(xué)習(xí)算法的收斂性分析及改進(jìn)

1.BP網(wǎng)絡(luò)的基本原理●什么是BP網(wǎng)絡(luò)？

——運(yùn)用誤差反向傳播學(xué)習(xí)算法（Back-Propagation

TraingingAlgorithm）的前饋多層網(wǎng)絡(luò)，~。

維數(shù)角標(biāo)輸入層輸出層隱含層（可多層）XY輸入輸出ghBP網(wǎng)絡(luò)結(jié)構(gòu)示意圖

●BP網(wǎng)絡(luò)的學(xué)習(xí)過程正向過程：輸入信號從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)單元。反向過程：如果在輸出層不能得到期望的輸出，則將輸出信號的誤差沿原來的連接通路返回。通過修改各層神經(jīng)元的權(quán)值，使誤差信號最小。BP為有教師的學(xué)習(xí)算法，以最小二乘法的最陡下降梯度。BP網(wǎng)絡(luò)各層神經(jīng)元的輸出為：XYgh神經(jīng)元閾值視為連接權(quán)

令

XYgh2.算法的基本遞推關(guān)系式設(shè)學(xué)習(xí)樣本個對應(yīng)的教師信號(輸出的期望值)正向傳播輸出信號共個樣本對向量XP1XPLtPLYP1YPLtP1BP網(wǎng)絡(luò)n維m維m維對而言若輸入所有個樣本對，網(wǎng)絡(luò)的總誤差為應(yīng)用最陡下降法，反向調(diào)整各層連接權(quán)，使誤差達(dá)到最小。——任意兩個神經(jīng)元之間的連接權(quán)批量模式設(shè)為迭代次數(shù)，應(yīng)用梯度法，可得各層連接權(quán)的迭代關(guān)系式為

——學(xué)習(xí)速度系數(shù)，一般取0.01~1。

●第二隱含層——輸出層的權(quán)值修正——第p個輸入模式下對輸出神經(jīng)元l的等效誤差。

●第一隱含層——第二隱含層的權(quán)值修正——在第P個輸入模式下，分?jǐn)偨o第二隱含層神經(jīng)元k的等效誤差。（調(diào)換求和順序）

●輸入層——第一隱含層的權(quán)值修正——第p個輸入模式對下的，分?jǐn)偨o第一隱含層j的等效誤差。（調(diào)換求和順序）

第2隱含-輸出層第1隱含-第2隱含層輸入層-第1隱含層權(quán)值修正計算一覽表綜上所述：⑴連接權(quán)的調(diào)整，按遞推表達(dá)式進(jìn)行。

——該連接權(quán)輸出端點(diǎn)的等效誤差。

——該連接權(quán)輸入點(diǎn)的實際信號。⑵等效誤差由輸出層向輸入層逐層反向傳播。⑶權(quán)修正是按批處理方式進(jìn)行。

批處理

——是輸入所有學(xué)習(xí)樣本對并計算網(wǎng)絡(luò)誤差后,才按負(fù)梯度方向進(jìn)行調(diào)整。可避免逐個樣本對權(quán)修正時可能引起的振蕩。3.算法的實現(xiàn)步驟Step1:初始化網(wǎng)絡(luò)權(quán)值。一般取凈輸入值較小，權(quán)值為一隨機(jī)數(shù)。step2:輸入量的正向傳遞過程。①輸入學(xué)習(xí)樣本對。②對每個輸入樣本，按式

順序計算各神經(jīng)元的輸出值。Step3:誤差反向傳播，依次計算，，。Step4:按式修正各層的連接權(quán)。Step5:根據(jù)新的連接權(quán)值進(jìn)行正向計算。若每一個樣本對和輸出層的每一個神經(jīng)元l均滿足精度要求，即

則網(wǎng)絡(luò)學(xué)習(xí)完成，否則去②。系統(tǒng)給定BP算法框圖：

4.學(xué)習(xí)算法的收斂性分析及改進(jìn)●算法的收斂性

三種情況1)全局最小點(diǎn)

2)平坦區(qū)網(wǎng)絡(luò)麻痹

3)局部極小點(diǎn)

有關(guān)神經(jīng)元激活函數(shù)的導(dǎo)數(shù)有關(guān)梯度與●反向傳播法的不足

需要較長的訓(xùn)練時間完全不能訓(xùn)練局部極小值①多層網(wǎng)絡(luò)結(jié)構(gòu)，較多神經(jīng)元。②不同初始權(quán)值（較小的初始權(quán)值，較小的學(xué)習(xí)速率）?！窬W(wǎng)絡(luò)訓(xùn)練不穩(wěn)定①附加動量法

0，當(dāng)

=0.95，當(dāng)，其他初始值：方向一致②自適應(yīng)學(xué)習(xí)速率

，當(dāng)

，當(dāng)，其他③L-M規(guī)則——加快前向網(wǎng)絡(luò)訓(xùn)練大，梯度法。小，Guass-Newton