1、13.1.4多層感知器與多層感知器與BP算法算法3.1.4.1 感知器感知器(1)感知器模型感知器模型 o1 oj om W1 Wj Wm x1 x2 xi xn2j=1,2, ,m Tni21,.,x,.x,xx)(XTmi21,.,o,.o,oo)(OTnjijj2j1j,.,w,.w,ww)(W3.1.4多層感知器與多層感知器與BP算法算法3.1.4.1 感知器感知器(1)感知器模型感知器模型3凈輸入：凈輸入：niiijjxwtne1輸出：輸出：)(sgn)(sgn)sgn()(sgn0XWTjniiijjjjjxwnetTtneo3.1.4多層感知器與多層感知器與BP算法算法3.1.4

2、.1 感知器感知器(1)感知器模型感知器模型4設(shè)輸入向量設(shè)輸入向量X=(x1 ,x2)T0Txwxw10Txwxw1oj2j21j1j2j21j1j輸出：輸出：則由方程則由方程 w1jx1+w2jx2-Tj=0 確定了二維平面上的一條分界線。確定了二維平面上的一條分界線。ojx1-1x2(2)感知器的功能感知器的功能3.1.4多層感知器與多層感知器與BP算法算法3.1.4.1 感知器感知器5 x1 * * * * O * * O * * O O * O x2 * * O O O O(2)感知器的功能感知器的功能w1jx1+w2jx2-Tj=03.1.4多層感知器與多層感知器與BP算法算法3.1

3、.4.1 感知器感知器6設(shè)輸入向量設(shè)輸入向量X=(x1, x2, x3)T0101332211332211jjjjjjjjjTxwxwxwTxwxwxwo輸出：輸出：則由方程則由方程 w1jx1+w2jx2+w3j x3Tj=0 確定了三維空間上的一個(gè)分界平面。確定了三維空間上的一個(gè)分界平面。 x2ojx1x3-1(2)感知器的功能感知器的功能3.1.4多層感知器與多層感知器與BP算法算法3.1.4.1 感知器感知器7 x1 * * * * O * * O * * O O * O x2 * * O O O x3(2)感知器的功能感知器的功能w1jx1+w2jx2+w3j Tj=03.1.4多層

4、感知器與多層感知器與BP算法算法3.1.4.1 感知器感知器8設(shè)輸入向量設(shè)輸入向量X=(x1，x2,，xn)T則由方程則由方程 w1jx1+w2jx2+wnjxn Tj=0確定了確定了n維空間上的一個(gè)分界平面。維空間上的一個(gè)分界平面。 凈輸入：凈輸入：w1jx1+w2jx2+wnj xnTj(2)感知器的功能感知器的功能3.1.4多層感知器與多層感知器與BP算法算法3.1.4.1 感知器感知器9 一個(gè)最簡(jiǎn)單的單計(jì)算節(jié)點(diǎn)感知器具有一個(gè)最簡(jiǎn)單的單計(jì)算節(jié)點(diǎn)感知器具有分類功能。其分類原理是將分類知識(shí)存儲(chǔ)分類功能。其分類原理是將分類知識(shí)存儲(chǔ)于感知器的權(quán)向量（包含了閾值）中，由于感知器的權(quán)向量（包含了閾值

5、）中，由權(quán)向量確定的分類判決界面將輸入模式分權(quán)向量確定的分類判決界面將輸入模式分為兩類。為兩類。(2)感知器的功能感知器的功能3.1.4多層感知器與多層感知器與BP算法算法3.1.4.1 感知器感知器10問題：能否用感知器實(shí)現(xiàn)問題：能否用感知器實(shí)現(xiàn)“異或異或”功能？功能？“異或異或”的真值表的真值表x1x2y000011101110 x1 O O x2(3)感知器的局限性感知器的局限性3.1.4多層感知器與多層感知器與BP算法算法3.1.4.1 感知器感知器11(4)多層感知器多層感知器 o T3 y1 y2 -1 w1 1 w2 1 w2 2 T1 T2 w12 -1 x1 x2 雙層感知器

6、雙層感知器 x1 S1 O S2 O x2 “異或異或”問題分類問題分類用兩計(jì)算層感知器解決用兩計(jì)算層感知器解決“異或異或”問題。問題?！爱惢虍惢颉钡恼嬷当淼恼嬷当韝1 x2y1 y2 o 0 01 1 00 11 011 00 111 11 1 03.1.4多層感知器與多層感知器與BP算法算法3.1.4.1 感知器感知器12 感知器結(jié)構(gòu) 異或問題 復(fù)雜問題 判決域形狀 判決域 無(wú)隱層 半平面 單隱層 凸 域 雙隱層 任意復(fù)雜 形狀域具有不同隱層數(shù)的感知器的分類能力對(duì)比具有不同隱層數(shù)的感知器的分類能力對(duì)比3.1.4多層感知器與多層感知器與BP算法算法3.1.4.1 感知器感知器13(1) 基于

7、基于BP算法的多層前饋網(wǎng)絡(luò)模型算法的多層前饋網(wǎng)絡(luò)模型 o1 ok ol W1 Wk Wl y1 y2 yj ym y0=-1 V1 Vm x0=-1 x1 x2 xi xn-1 xn 14輸入向量：輸入向量： X=(x1,x2,xi,xn)T隱層輸出向量：隱層輸出向量： Y=(y1,y2,yj,ym)T輸出層輸出向量：輸出層輸出向量： O=(o1,o2,ok,ol)T期望輸出向量：期望輸出向量：d=(d1, d2,dk,dl)T輸入層到隱層之間的權(quán)值矩陣：輸入層到隱層之間的權(quán)值矩陣：V=(V1,V2,Vj,Vm)隱層到輸出層之間的權(quán)值矩陣用：隱層到輸出層之間的權(quán)值矩陣用：W=(W1,W2,Wk

8、,Wl)(1)基于基于BP算法的多層前饋網(wǎng)絡(luò)模型算法的多層前饋網(wǎng)絡(luò)模型15)(kknetfo對(duì)于輸出層：對(duì)于輸出層：k=1,2,l (3-14)m0jjjkkywnetk=1,2,l (3-15)對(duì)于隱層：對(duì)于隱層：j=1,2,m (3-16)j=1,2,m (3-17)(jjnetfyn0iiijjxvnet(1)基于基于BP算法的多層前饋網(wǎng)絡(luò)模型算法的多層前饋網(wǎng)絡(luò)模型16單極性單極性Sigmoid函數(shù)：函數(shù)：xe11xf)(3-18)雙極性雙極性Sigmoid函數(shù)：函數(shù)：xxe1e1xf)(1)基于基于BP算法的多層前饋網(wǎng)絡(luò)模型算法的多層前饋網(wǎng)絡(luò)模型Sigmoid函數(shù)的導(dǎo)函數(shù)為：函數(shù)的導(dǎo)函

9、數(shù)為：)(1)()(xfxfxf(3-19)17輸出誤差輸出誤差E定義為：定義為：(3-20)221E)(Od l1k2kkod21)(將以上誤差定義式展開至隱層：將以上誤差定義式展開至隱層：l1k2kknetfd21E)(l1k2m0jjjkkywfd21)(3-21)(2) BP學(xué)習(xí)算法的權(quán)值調(diào)整思路學(xué)習(xí)算法的權(quán)值調(diào)整思路18進(jìn)一步展開至輸入層：進(jìn)一步展開至輸入層：l1k2m0jjjkknetfwfd21E)(l1k2m0jn0iiijjkkxvfwfd21)(3-22)(2) BP學(xué)習(xí)算法的權(quán)值調(diào)整思路學(xué)習(xí)算法的權(quán)值調(diào)整思路19權(quán)值調(diào)整思路；權(quán)值調(diào)整思路；jkjkwEwj=0,1,2,m

10、; k=1,2,l (3-23a)ijijvEvi=0,1,2,n; j=1,2,m (3-23b)式中負(fù)號(hào)表示梯度下降，常數(shù)式中負(fù)號(hào)表示梯度下降，常數(shù)(0,1)表示比例系數(shù)。表示比例系數(shù)。在全部推導(dǎo)過程中，對(duì)輸出層有在全部推導(dǎo)過程中，對(duì)輸出層有j=0,1,2,m; k=1,2,l 對(duì)隱層有對(duì)隱層有 i=0,1,2,n; j=1,2,m(2) BP學(xué)習(xí)算法的權(quán)值調(diào)整思路學(xué)習(xí)算法的權(quán)值調(diào)整思路20對(duì)于輸出層，式對(duì)于輸出層，式(3-23a)可寫為可寫為jkkkjkjkwnetnetEwEw(3-24a)對(duì)于隱層，式對(duì)于隱層，式(3-23b)可寫為可寫為(3-24b)ijjjijijvnetnetE

11、vEv對(duì)輸出層和隱層各定義一個(gè)誤差信號(hào)，令對(duì)輸出層和隱層各定義一個(gè)誤差信號(hào)，令 koknetE(3-25a)jyjnetE(3-25b)(3) BP學(xué)習(xí)算法推導(dǎo)學(xué)習(xí)算法推導(dǎo)21綜合應(yīng)用式綜合應(yīng)用式(3-15)和和(3-25a)，可將式，可將式 (3-24a)的權(quán)值調(diào)整的權(quán)值調(diào)整式改寫為式改寫為綜合應(yīng)用式綜合應(yīng)用式(3-15)和和(3-25b)，可將式，可將式 (3-24b)的權(quán)值調(diào)的權(quán)值調(diào)整式改寫為整式改寫為(3-26a)jokjkyw（3-26b)iyjijxv可以看出，只要計(jì)算出式可以看出，只要計(jì)算出式(3-26)中的誤差信號(hào)中的誤差信號(hào) o和和 y，權(quán)值調(diào)整量的計(jì)算推導(dǎo)即可完成。下面繼續(xù)

12、推導(dǎo)如何權(quán)值調(diào)整量的計(jì)算推導(dǎo)即可完成。下面繼續(xù)推導(dǎo)如何求求誤差信號(hào)誤差信號(hào) o和和 y 。22對(duì)于輸出層，對(duì)于輸出層， o可展開為可展開為對(duì)于隱層，對(duì)于隱層， y可展開為可展開為下面求式下面求式(3-27)中網(wǎng)絡(luò)誤差對(duì)各層輸出的偏導(dǎo)。中網(wǎng)絡(luò)誤差對(duì)各層輸出的偏導(dǎo)。(3-27a)( kkkkkkoknetfoEnetooEnetE（3-27b)( jjjjjjyjnetfyEnetyyEnetE23對(duì)于輸出層，利用式對(duì)于輸出層，利用式(3-20)：對(duì)于隱層，利用式對(duì)于隱層，利用式(3-21)：l1k2kkod21E)(3-28a)(kkkodoE可得：可得：(3-28b)l1kjkkkkjwnet

13、fodyE)()(可得：可得：l1k2m0jjjkkywfd21E)(24將以上結(jié)果代入式將以上結(jié)果代入式(3-27)，并應(yīng)用式，并應(yīng)用式(3-19)：xexf11)()1 ()(kkkkokoood（3-29a)得到：得到：（3-29b)()()(jl1kjkkkkyjnetfwnetfod)1 ()(1jjlkjkok-yyw至此兩個(gè)誤差信號(hào)的推導(dǎo)已完成。至此兩個(gè)誤差信號(hào)的推導(dǎo)已完成。25三層前饋網(wǎng)的三層前饋網(wǎng)的BP學(xué)習(xí)算法權(quán)值調(diào)整計(jì)算公式為：學(xué)習(xí)算法權(quán)值調(diào)整計(jì)算公式為：jkkkkjokjkyooodyw)1 ()( ijjlkjkokiyjijxyywxv)1 ()(1 (3-30a)(

14、3-30b)(3) BP學(xué)習(xí)算法推導(dǎo)學(xué)習(xí)算法推導(dǎo)26)(kknetfom0jjjkkywnet)(jjnetfyn0iiijjxvnetxe11xf)(l1k2kkod21E)(l1k2kknetfd21)(l1k2m0jjjkkywfd21)(l1k2m0jjjkknetfwfd21)(l1k2m0jn0iiijjkkxvfwfd21)(koknetEjkkkjkjkwnetnetEwEwijjjijijvnetnetEvEvjyjnetEjokjkywiyjijxv27初始化 V、W、Emin,、q=1，p=1,E=0輸入樣本，計(jì)算各層輸出：m21jfyTjj,.,),(XVl21kfoT

15、jk,.,),(YW計(jì)算誤差： P1pl1k2kkod21E)(計(jì)算各層誤差信號(hào)：l21koo1odkkkk,.,)(okm21jyy1wjjl1kjkokyj,.,)(調(diào)整各層權(quán)值：m10jl21kjyokjkwjkw,.,.,n10 xm21jxvviyjijij,.,., Y p 增 1,q 增 1 pP？ N N E=0,p=1 EEmin Y 結(jié)束(4) BP算法的程序?qū)崿F(xiàn)算法的程序?qū)崿F(xiàn)1)初始化；初始化； P1ppP1RMEEE4)計(jì)算各層誤差信號(hào)；計(jì)算各層誤差信號(hào)； 5)調(diào)整各層權(quán)值；調(diào)整各層權(quán)值； 6)檢查是否對(duì)所有樣本完成一次檢查是否對(duì)所有樣本完成一次 輪訓(xùn)；輪訓(xùn)； 7)檢查

16、網(wǎng)絡(luò)總誤差是否達(dá)到精檢查網(wǎng)絡(luò)總誤差是否達(dá)到精 度要求。度要求。 2)輸入訓(xùn)練樣本對(duì)輸入訓(xùn)練樣本對(duì)X Xp、d dp計(jì)算各層輸出；計(jì)算各層輸出；3)計(jì)算網(wǎng)絡(luò)輸出誤差；計(jì)算網(wǎng)絡(luò)輸出誤差；28(4) BP算法的程序?qū)崿F(xiàn)算法的程序?qū)崿F(xiàn)初始化 V、W計(jì)數(shù)器 q=1，p=1輸入第一對(duì)樣本計(jì)算各層輸出計(jì)算誤差：P1pl1k2kkod21E)( Y p 增 1 pP？ N用 E 計(jì)算各層誤差信號(hào) 調(diào)整各層權(quán)值 q 增 1 N ErmsEmin E=0,p=1 Y 結(jié)束然后根據(jù)總誤差計(jì)算各層的誤差然后根據(jù)總誤差計(jì)算各層的誤差信號(hào)并調(diào)整權(quán)值。信號(hào)并調(diào)整權(quán)值。P1pl1k2pkpkod21E)(總 另一種方法是在所

17、有樣本輸另一種方法是在所有樣本輸入之后，計(jì)算網(wǎng)絡(luò)的總誤差：入之后，計(jì)算網(wǎng)絡(luò)的總誤差：29(5)標(biāo)準(zhǔn)標(biāo)準(zhǔn)BP算法的改進(jìn)算法的改進(jìn)標(biāo)準(zhǔn)的標(biāo)準(zhǔn)的BP算法在應(yīng)用中暴露出不少內(nèi)在的缺陷：算法在應(yīng)用中暴露出不少內(nèi)在的缺陷： 易形成局部極小而得不到全局最優(yōu)；易形成局部極小而得不到全局最優(yōu)； 訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢；訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢； 隱節(jié)點(diǎn)的選取缺乏理論指導(dǎo)；隱節(jié)點(diǎn)的選取缺乏理論指導(dǎo)； 訓(xùn)練時(shí)學(xué)習(xí)新樣本有遺忘舊樣本的趨勢(shì)。訓(xùn)練時(shí)學(xué)習(xí)新樣本有遺忘舊樣本的趨勢(shì)。 針對(duì)上述問題，國(guó)內(nèi)外已提出不少有效的改進(jìn)算法，針對(duì)上述問題，國(guó)內(nèi)外已提出不少有效的改進(jìn)算法，下面僅介紹其中下面僅介紹

18、其中3種較常用的方法。種較常用的方法。301) 增加動(dòng)量項(xiàng)增加動(dòng)量項(xiàng))1()(ttWXW為動(dòng)量系數(shù)，一般有為動(dòng)量系數(shù)，一般有( (0 0，1 1) )2) 自適應(yīng)調(diào)節(jié)學(xué)習(xí)率自適應(yīng)調(diào)節(jié)學(xué)習(xí)率 設(shè)一初始學(xué)習(xí)率，若經(jīng)過一批次權(quán)值調(diào)整后使設(shè)一初始學(xué)習(xí)率，若經(jīng)過一批次權(quán)值調(diào)整后使總誤差總誤差，則本次調(diào)整無(wú)效，且，則本次調(diào)整無(wú)效，且 = = ( (11 )。(5)標(biāo)準(zhǔn)標(biāo)準(zhǔn)BP算法的改進(jìn)算法的改進(jìn)313) 引入陡度因子引入陡度因子 實(shí)現(xiàn)這一思路的實(shí)現(xiàn)這一思路的具體作法是，在原轉(zhuǎn)具體作法是，在原轉(zhuǎn)移函數(shù)中引入一個(gè)陡移函數(shù)中引入一個(gè)陡度因子度因子/11neteo o 1 =1 1 21 net 0(5)標(biāo)準(zhǔn)標(biāo)準(zhǔn)

19、BP算法的改進(jìn)算法的改進(jìn)32BP網(wǎng)絡(luò)曲線擬合仿真實(shí)例網(wǎng)絡(luò)曲線擬合仿真實(shí)例對(duì)一組輸入輸出數(shù)據(jù)，完成y=f(x)的曲線擬合。334clear all4p=-1:0.1:0.9;4t=-0.832 -0.423 -0.024 0.344 1.282 3.456 4.02 3.232 2.102 1.504 0.248 1.242 2.344 3.262 2.052 1.684 1.022 2.224 3.022 1.984;4net=newff(-1,1,15,1,tansig purelin,traingdx,learngdm);4net.trainParam.epochs=2500;4net.t

20、rainParam.goal=0.001;4net.trainParam.show=10;4net.trainParam.lr=0.05; %學(xué)習(xí)率4net=train(net,p,t); %訓(xùn)練網(wǎng)絡(luò)4save mynet net;4hold on %圖形保持功能打開4figure(1); %控制窗口的數(shù)量 4r=sim(net,p); %仿真網(wǎng)絡(luò)4plot(p,t,*,p,r,+); %作圖4hold off %圖形保持功能關(guān)閉程序程序輸入數(shù)據(jù)輸出數(shù)據(jù)輸入層至隱層轉(zhuǎn)移函數(shù)隱層至輸出層轉(zhuǎn)移函數(shù)隱層神經(jīng)元個(gè)數(shù)輸出層神經(jīng)元個(gè)數(shù)創(chuàng)建網(wǎng)絡(luò)34運(yùn)行結(jié)果運(yùn)行結(jié)果-1-0.8-0.6-0.4-0.200.2

21、0.40.60.81-101234535BP網(wǎng)絡(luò)逼近仿真實(shí)例網(wǎng)絡(luò)逼近仿真實(shí)例使用BP網(wǎng)絡(luò)逼近對(duì)象：stkykykukyout5 . 0) 1(1) 1()()(23364clear all;4close all; 4xite=0.50;4alfa=0.05; 4w2=rands(6,1);4w2_1=w2;w2_2=w2_1; 4w1=rands(2,6);4w1_1=w1;w1_2=w1; 4dw1=0*w1; 4x=0,0; 4u_1=0;4y_1=0; 4I=0,0,0,0,0,0;4Iout=0,0,0,0,0,0;4FI=0,0,0,0,0,0;4 ts=0.001;4for k=1

22、:1:1000 4time(k)=k*ts;4u(k)=0.50*sin(3*2*pi*k*ts);4y(k)=u_13+y_1/(1+y_12);4for j=1:1:6 4 I(j)=x*w1(:,j);4 Iout(j)=1/(1+exp(-I(j);4end程序程序374yn(k)=w2*Iout; % Output of NNI networks 4e(k)=y(k)-yn(k); % Error calculation 4w2=w2_1+(xite*e(k)*Iout+alfa*(w2_1-w2_2);4for j=1:1:64 FI(j)=exp(-I(j)/(1+exp(-I(

23、j)2;4end 4for i=1:1:24 for j=1:1:64 dw1(i,j)=e(k)*xite*FI(j)*w2(j)*x(i);4 end4end4w1=w1_1+dw1+alfa*(w1_1-w1_2); 4%Jacobian%4yu=0;4for j=1:1:64 yu=yu+w2(j)*w1(1,j)*FI(j);4end4dyu(k)=yu;4 4x(1)=u(k);4x(2)=y(k);384w1_2=w1_1;w1_1=w1;4w2_2=w2_1;w2_1=w2;4u_1=u(k);4y_1=y(k);4end4figure(1);4plot(time,y,r,ti

24、me,yn,b);4xlabel(times);ylabel(y and yn);4figure(2);4plot(time,y-yn,r);4xlabel(times);ylabel(error);4figure(3);4plot(time,dyu);4xlabel(times);ylabel(dyu);39運(yùn)行結(jié)果運(yùn)行結(jié)果00.10.20.30.40.50.60.70.80.91-0.8-0.6-0.4-0.200.20.40.6timesy and yn00.10.20.30.40.50.60.70.80.91-0.5-0.4-0.3-0.2-0.100.10.2timeserror40

25、為什么要引入為什么要引入RBF網(wǎng)絡(luò)網(wǎng)絡(luò)？設(shè)輸入向量設(shè)輸入向量X=(x1 ,x2)T0Txwxw10Txwxw1oj2j21j1j2j21j1j輸出：輸出：則由方程則由方程 w1jx1+w2jx2-Tj=0 確定了二維平面上的一條分界線。確定了二維平面上的一條分界線。ojx1-1x2 x1 * * * * O * * O * * O O * O x2 * * O O O O41但對(duì)于但對(duì)于“異或異或”的真值表的真值表x1x2y000011101110 x1 O O x2424為什么要引入為什么要引入RBF網(wǎng)絡(luò)？網(wǎng)絡(luò)？空間（空間（1）：非線性）：非線性 空間（空間（2）：線性）：線性x1 x2 0

26、 1 0.3678 0.36780 0 0.3678 0.36780 0 0.1353 11 1 1 0.1353)(2x空間變換空間變換)(1x434RBF神經(jīng)網(wǎng)絡(luò)的分類：41、正則化網(wǎng)絡(luò)：有幾組數(shù)據(jù)，就用幾個(gè) 適合數(shù)據(jù)比較少的網(wǎng)絡(luò)。通常 ，L為輸入數(shù)據(jù)的個(gè)數(shù)。 2、廣義網(wǎng)絡(luò)：如果數(shù)據(jù)較多，需要先對(duì)數(shù)據(jù)進(jìn)行歸類。)(x222expiiiuxuxLjjixLu111i)()(21exp1iiTiiuxCuxuxLjjixLu11TijLjijiuxuxLC)( )(111443.1.5.1 徑向基函數(shù)徑向基函數(shù)RBF 20世紀(jì)世紀(jì)80年代后期，年代后期，Powell在解決在解決“多變量有限點(diǎn)嚴(yán)

27、格多變量有限點(diǎn)嚴(yán)格(精確精確)插值問題插值問題”時(shí)引入了徑向基函數(shù)技術(shù)。采用徑向基函數(shù)技術(shù)解決時(shí)引入了徑向基函數(shù)技術(shù)。采用徑向基函數(shù)技術(shù)解決插值問題的方法是，選擇插值問題的方法是，選擇P個(gè)基函數(shù)，每一個(gè)基函數(shù)對(duì)應(yīng)一個(gè)訓(xùn)個(gè)基函數(shù)，每一個(gè)基函數(shù)對(duì)應(yīng)一個(gè)訓(xùn)練數(shù)據(jù)，各基函數(shù)的形式為練數(shù)據(jù)，各基函數(shù)的形式為 )(pXX , p=1, 2, , P (3-36) 式中基函數(shù)式中基函數(shù)為非線性函數(shù)，訓(xùn)練數(shù)據(jù)點(diǎn)為非線性函數(shù)，訓(xùn)練數(shù)據(jù)點(diǎn)Xp是是的中心。基函數(shù)以的中心?；瘮?shù)以輸入空間的點(diǎn)輸入空間的點(diǎn)X與中心與中心Xp的距離作為函數(shù)的自變量。的距離作為函數(shù)的自變量。453.1.5.1 徑向基函數(shù)徑向基函數(shù)RBF常

28、用基函數(shù)曲線常用基函數(shù)曲線 1.Gauss函數(shù)函數(shù))2exp()(22rr2.Reflected sigmoidal函數(shù)函數(shù))exp(11)(22rr3.Inverse multiquadrics 函數(shù)函數(shù)21221)(rr 463.1.5.1 徑向基函數(shù)徑向基函數(shù)RBF 設(shè)設(shè)N維空間有維空間有P個(gè)輸入向量，個(gè)輸入向量，p=1, 2, , P，它們?cè)谳敵隹臻g，它們?cè)谳敵隹臻g相應(yīng)的目標(biāo)值為相應(yīng)的目標(biāo)值為 ，p=1, 2, , P，P對(duì)輸入對(duì)輸入-輸出樣本構(gòu)成了訓(xùn)輸出樣本構(gòu)成了訓(xùn)練樣本集。練樣本集。 尋找一個(gè)非線性映射函數(shù)尋找一個(gè)非線性映射函數(shù)F(X)，使其滿足下述插值條件，使其滿足下述插值條件

29、F(Xp)=d p， p=1, 2, , P (3-35)式中，函數(shù)式中，函數(shù)F描述了一個(gè)插值曲面。描述了一個(gè)插值曲面。pd 基于徑向基函數(shù)技術(shù)的插值函數(shù)定義為基函數(shù)的線性組合基于徑向基函數(shù)技術(shù)的插值函數(shù)定義為基函數(shù)的線性組合 (3.40)Ppppw1)()(XXXF473.1.5.2 正則化正則化RBF網(wǎng)絡(luò)網(wǎng)絡(luò)483.1.5.2 正則化正則化RBF網(wǎng)絡(luò)網(wǎng)絡(luò)正則化正則化RBF網(wǎng)絡(luò)具有以下網(wǎng)絡(luò)具有以下3個(gè)特點(diǎn)：個(gè)特點(diǎn)：正則化網(wǎng)絡(luò)是一種通用逼近器，只有要足夠的隱節(jié)點(diǎn)，它可以正則化網(wǎng)絡(luò)是一種通用逼近器，只有要足夠的隱節(jié)點(diǎn)，它可以以任意精度逼近緊集上的任意多元連續(xù)函數(shù)。以任意精度逼近緊集上的任意多元連

30、續(xù)函數(shù)。具有最佳逼近特性，即任給一個(gè)未知的非線性函數(shù)具有最佳逼近特性，即任給一個(gè)未知的非線性函數(shù)f，總可以，總可以找到一組權(quán)值使得正則化網(wǎng)絡(luò)對(duì)于找到一組權(quán)值使得正則化網(wǎng)絡(luò)對(duì)于f的逼近由于所有其他可能的的逼近由于所有其他可能的選擇。選擇。正則化網(wǎng)絡(luò)得到的解是最佳的，所謂正則化網(wǎng)絡(luò)得到的解是最佳的，所謂“最佳最佳”體現(xiàn)在同時(shí)滿足體現(xiàn)在同時(shí)滿足對(duì)樣本的逼近誤差和逼近曲線的平滑性。對(duì)樣本的逼近誤差和逼近曲線的平滑性。493.1.5.2 正則化正則化RBF網(wǎng)絡(luò)網(wǎng)絡(luò) 正則化正則化RBP網(wǎng)絡(luò)的隱節(jié)點(diǎn)數(shù)即樣本數(shù)，基函數(shù)的數(shù)據(jù)中心即網(wǎng)絡(luò)的隱節(jié)點(diǎn)數(shù)即樣本數(shù)，基函數(shù)的數(shù)據(jù)中心即為樣本本身，只需考慮擴(kuò)展常數(shù)和輸出節(jié)點(diǎn)

31、的權(quán)值。為樣本本身，只需考慮擴(kuò)展常數(shù)和輸出節(jié)點(diǎn)的權(quán)值。 徑向基函數(shù)的擴(kuò)展常數(shù)可根據(jù)數(shù)據(jù)中心的散布而確定，為了徑向基函數(shù)的擴(kuò)展常數(shù)可根據(jù)數(shù)據(jù)中心的散布而確定，為了避免每個(gè)徑向基函數(shù)太尖或太平，一種選擇方法是將所有徑向基避免每個(gè)徑向基函數(shù)太尖或太平，一種選擇方法是將所有徑向基函數(shù)的擴(kuò)展常數(shù)設(shè)為函數(shù)的擴(kuò)展常數(shù)設(shè)為 Pd2max(3-37) 樣本之間的最大距離樣本之間的最大距離 樣本的數(shù)目樣本的數(shù)目 503.1.5.2 正則化正則化RBF網(wǎng)絡(luò)網(wǎng)絡(luò)輸出層的權(quán)值常采用最小均方算法輸出層的權(quán)值常采用最小均方算法(LMS) ，權(quán)值調(diào)整權(quán)值調(diào)整公式為公式為 )(kTkkdWW或或jTkkjkdw)( Wj=0,

32、1,P；k=1,2,l (3-38b)(3-38a)513.1.5.2 正則化正則化RBF網(wǎng)絡(luò)網(wǎng)絡(luò) 對(duì)于單輸出對(duì)于單輸出RBF網(wǎng)絡(luò)，更簡(jiǎn)捷的方法是用求逆法網(wǎng)絡(luò)，更簡(jiǎn)捷的方法是用求逆法直接計(jì)算。直接計(jì)算。 (3-41)dW dW1(3-42) 式中式中 稱為插值矩陣。令稱為插值矩陣。令 ，i=1, 2, , P，p=1, 2, , P。若若 為可逆矩陣，就可以從式為可逆矩陣，就可以從式(3.41)中解中解出權(quán)值向量出權(quán)值向量W，即，即 )(piipXX 523.1.5.3 廣義廣義RBF網(wǎng)絡(luò)網(wǎng)絡(luò) y1 yk yl W1 Wk Wl T x1 x2 xi xn-1 xn 1 2 j m 0 53

33、廣義廣義RBF網(wǎng)絡(luò)有以下幾個(gè)特點(diǎn)：網(wǎng)絡(luò)有以下幾個(gè)特點(diǎn)：徑向基函數(shù)的個(gè)數(shù)徑向基函數(shù)的個(gè)數(shù)M與樣本的個(gè)數(shù)與樣本的個(gè)數(shù)P不相等，且不相等，且M常常遠(yuǎn)小于常常遠(yuǎn)小于P。徑向基函數(shù)的中心不再限制在數(shù)據(jù)點(diǎn)上，而是由訓(xùn)徑向基函數(shù)的中心不再限制在數(shù)據(jù)點(diǎn)上，而是由訓(xùn)練算法確定。練算法確定。各徑向基函數(shù)的擴(kuò)展常數(shù)不再統(tǒng)一，其值由訓(xùn)練算各徑向基函數(shù)的擴(kuò)展常數(shù)不再統(tǒng)一，其值由訓(xùn)練算法確定。法確定。輸出函數(shù)的線性中包含閾值參數(shù)，用于補(bǔ)償基函數(shù)輸出函數(shù)的線性中包含閾值參數(shù)，用于補(bǔ)償基函數(shù)在樣本集上的平均值與目標(biāo)值之平均值之間的差別。在樣本集上的平均值與目標(biāo)值之平均值之間的差別。3.1.5.3 廣義廣義RBF網(wǎng)絡(luò)網(wǎng)絡(luò)54

34、廣義廣義RBP網(wǎng)絡(luò)的設(shè)計(jì)包括網(wǎng)絡(luò)的設(shè)計(jì)包括結(jié)構(gòu)設(shè)計(jì)結(jié)構(gòu)設(shè)計(jì)和和參數(shù)設(shè)計(jì)參數(shù)設(shè)計(jì)：結(jié)構(gòu)設(shè)計(jì)結(jié)構(gòu)設(shè)計(jì)主要解決如何確定網(wǎng)絡(luò)隱節(jié)點(diǎn)數(shù)的問題。主要解決如何確定網(wǎng)絡(luò)隱節(jié)點(diǎn)數(shù)的問題。參數(shù)設(shè)計(jì)參數(shù)設(shè)計(jì)包括包括3種參數(shù)種參數(shù) 各基函數(shù)的數(shù)據(jù)中心設(shè)計(jì)各基函數(shù)的數(shù)據(jù)中心設(shè)計(jì) 擴(kuò)展常數(shù)設(shè)計(jì)擴(kuò)展常數(shù)設(shè)計(jì) 輸出節(jié)點(diǎn)的權(quán)值設(shè)計(jì)輸出節(jié)點(diǎn)的權(quán)值設(shè)計(jì)3.1.5.3 廣義廣義RBF網(wǎng)絡(luò)網(wǎng)絡(luò)55 根據(jù)數(shù)據(jù)中心的取值方法，廣義根據(jù)數(shù)據(jù)中心的取值方法，廣義RBF網(wǎng)的設(shè)計(jì)方法網(wǎng)的設(shè)計(jì)方法可分為兩類?？煞譃閮深?。 第一類方法：數(shù)據(jù)中心從樣本輸入中選取。徑向基第一類方法：數(shù)據(jù)中心從樣本輸入中選取。徑向基函數(shù)的擴(kuò)展常數(shù)根據(jù)數(shù)據(jù)中心的散布而確定，

35、一種選擇函數(shù)的擴(kuò)展常數(shù)根據(jù)數(shù)據(jù)中心的散布而確定，一種選擇方法是將所有徑向基函數(shù)的擴(kuò)展常數(shù)設(shè)為方法是將所有徑向基函數(shù)的擴(kuò)展常數(shù)設(shè)為Md2max(3-43)數(shù)據(jù)中心之間的最大距離數(shù)據(jù)中心之間的最大距離 數(shù)據(jù)中心的數(shù)目數(shù)據(jù)中心的數(shù)目 3.1.5.3 廣義廣義RBF網(wǎng)絡(luò)網(wǎng)絡(luò)56 第二類方法：數(shù)據(jù)中心的自組織選擇。常采用各種動(dòng)態(tài)聚類算第二類方法：數(shù)據(jù)中心的自組織選擇。常采用各種動(dòng)態(tài)聚類算法對(duì)數(shù)據(jù)中心進(jìn)行自組織選擇，在學(xué)習(xí)過程中需對(duì)數(shù)據(jù)中心的法對(duì)數(shù)據(jù)中心進(jìn)行自組織選擇，在學(xué)習(xí)過程中需對(duì)數(shù)據(jù)中心的位置進(jìn)行動(dòng)態(tài)調(diào)節(jié)。位置進(jìn)行動(dòng)態(tài)調(diào)節(jié)。1. 廣義廣義RBF網(wǎng)絡(luò)數(shù)據(jù)中心的聚類算法網(wǎng)絡(luò)數(shù)據(jù)中心的聚類算法 算法由兩個(gè)

36、階段混合組成：算法由兩個(gè)階段混合組成：第一階段第一階段常采用常采用K-means聚類算法，其任務(wù)是用自組織聚類方聚類算法，其任務(wù)是用自組織聚類方法為隱層節(jié)點(diǎn)的徑向基函數(shù)確定合適的數(shù)據(jù)中心，并根據(jù)各中法為隱層節(jié)點(diǎn)的徑向基函數(shù)確定合適的數(shù)據(jù)中心，并根據(jù)各中心之間的距離確定隱節(jié)點(diǎn)的擴(kuò)展常數(shù)。心之間的距離確定隱節(jié)點(diǎn)的擴(kuò)展常數(shù)。第二階段第二階段為監(jiān)督學(xué)習(xí)階段，一般采用梯度法進(jìn)行訓(xùn)練，其任務(wù)為監(jiān)督學(xué)習(xí)階段，一般采用梯度法進(jìn)行訓(xùn)練，其任務(wù)是用有監(jiān)督學(xué)習(xí)算法訓(xùn)練輸出層權(quán)值。是用有監(jiān)督學(xué)習(xí)算法訓(xùn)練輸出層權(quán)值。 3.1.5.3 廣義廣義RBF網(wǎng)絡(luò)網(wǎng)絡(luò)57第一階段第一階段K-means聚類算法確定數(shù)據(jù)中心：聚類算法

37、確定數(shù)據(jù)中心：初始化。隨機(jī)選擇初始化。隨機(jī)選擇M個(gè)互不相同向量作為初始聚類中心：個(gè)互不相同向量作為初始聚類中心：)0(,),0(),0(M21ccc計(jì)算輸入空間各樣本點(diǎn)與聚類中心點(diǎn)的歐式距離計(jì)算輸入空間各樣本點(diǎn)與聚類中心點(diǎn)的歐式距離 )(kjpcXM, 2 , 1, 2 , 1jPp；相似匹配。令相似匹配。令 代表競(jìng)爭(zhēng)獲勝隱節(jié)點(diǎn)的下標(biāo)，對(duì)每一個(gè)輸入樣本代表競(jìng)爭(zhēng)獲勝隱節(jié)點(diǎn)的下標(biāo)，對(duì)每一個(gè)輸入樣本 根據(jù)其與聚類中心的最小歐式距離確定其歸類根據(jù)其與聚類中心的最小歐式距離確定其歸類*jpX)(*pjXPpkjjpjp, 2 , 1)(min)(*，cXX(3-44) 從而將全部樣本劃分為以聚類中心為典

38、型代表的從而將全部樣本劃分為以聚類中心為典型代表的M個(gè)子集：個(gè)子集： )(,),(),(M21kkkUUU3.1.5.3 廣義廣義RBF網(wǎng)絡(luò)網(wǎng)絡(luò)58更新各類的聚類中心。更新各類的聚類中心。 將將k值加值加1，轉(zhuǎn)到第，轉(zhuǎn)到第步。重復(fù)上述過程直到的改變量小于要求的值。步。重復(fù)上述過程直到的改變量小于要求的值。 )(1) 1(kljjNkUXXc方法一：方法一：*)()()() 1(jjkjjkkkjjpjjccXcc方法二：方法二： (3-45) (3-46)jjdijijccd min令令 ，則擴(kuò)展常數(shù)取，則擴(kuò)展常數(shù)取 (3-47)3.1.5.3 廣義廣義RBF網(wǎng)絡(luò)網(wǎng)絡(luò)59第二階段第二階段采用梯

39、度法訓(xùn)練輸出層權(quán)值；采用梯度法訓(xùn)練輸出層權(quán)值； 將將k值加值加1，轉(zhuǎn)到第，轉(zhuǎn)到第步。重復(fù)上述過程直到的改變量小于要求的值。步。重復(fù)上述過程直到的改變量小于要求的值。 )(1) 1(kljjNkUXXc方法一：方法一：*)()()() 1(jjkjjkkkjjpjjccXcc方法二：方法二： (3-45) (3-46)jjdijijccd min令令 ，則擴(kuò)展常數(shù)取，則擴(kuò)展常數(shù)取 (3-47)3.1.5.3 廣義廣義RBF網(wǎng)絡(luò)網(wǎng)絡(luò)602. 廣義廣義RBF網(wǎng)絡(luò)數(shù)據(jù)中心的監(jiān)督學(xué)習(xí)算法網(wǎng)絡(luò)數(shù)據(jù)中心的監(jiān)督學(xué)習(xí)算法 3.1.5.3 廣義廣義RBF網(wǎng)絡(luò)網(wǎng)絡(luò)定義目標(biāo)函數(shù)為定義目標(biāo)函數(shù)為PiieE1221(3-

40、51)式中式中P為訓(xùn)練樣本數(shù)，為訓(xùn)練樣本數(shù)， 為輸入第為輸入第i個(gè)樣本時(shí)的誤差信個(gè)樣本時(shí)的誤差信號(hào)，定義為號(hào)，定義為ieMjjijiiiiwdFde1)G()(CXX (3-52)式中的輸出函數(shù)中忽略了閾值。式中的輸出函數(shù)中忽略了閾值。612. 廣義廣義RBF網(wǎng)絡(luò)數(shù)據(jù)中心的監(jiān)督學(xué)習(xí)算法網(wǎng)絡(luò)數(shù)據(jù)中心的監(jiān)督學(xué)習(xí)算法 3.1.5.3 廣義廣義RBF網(wǎng)絡(luò)網(wǎng)絡(luò)為使目標(biāo)函數(shù)最小化，各參數(shù)的修正量應(yīng)與其負(fù)梯度成正比，即為使目標(biāo)函數(shù)最小化，各參數(shù)的修正量應(yīng)與其負(fù)梯度成正比，即jjEccjjEjjwEwPijijiijjjew12)(G(cXcXcPijijiijjjew123)G(cXcXPijiijew1)

41、G(cX62RBF網(wǎng)絡(luò)非線性函數(shù)回歸仿真實(shí)例網(wǎng)絡(luò)非線性函數(shù)回歸仿真實(shí)例用RBF網(wǎng)絡(luò)擬合函數(shù)，隨機(jī)產(chǎn)生x1，x2和由這兩個(gè)變量得出的y 。將x1，x2作為網(wǎng)絡(luò)的輸入數(shù)據(jù)，將y作為輸出數(shù)據(jù)，建立精確RBF進(jìn)行回歸分析。函數(shù)為：)2cos(10)2cos(1020222121xxxxy63clcclearinterval=0.01;x1=-1.5:interval:1.5;x2=-1.5:interval:1.5;F=20+x2.2-10*cos(2*pi*x1)+x2.2-10*cos(2*pi*x2);net=newrbe(x1;x2,F)ty=sim(net,x1;x2);figureplot

42、3(x1,x2,F,r);hold on;plot3(x1,x2,ty,b);view(113,36)title(可視化的方法觀察嚴(yán)格的RBF的擬合效果)xlabel(x1)ylabel(x2)zlabel(F)grid on程序程序4數(shù)學(xué)回歸與神經(jīng)網(wǎng)絡(luò)的區(qū)別？64運(yùn)行結(jié)果運(yùn)行結(jié)果65 Hopfield Hopfield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分別記作分別記作DHNN (Discrete Hopfield Neural Network) DHNN (Discrete Hopfield Neural Network) 和和CHNN (Continu

43、es Hopfield Neural Network)CHNN (Continues Hopfield Neural Network)，本節(jié)，本節(jié)重點(diǎn)討論前一種類型。重點(diǎn)討論前一種類型。 根據(jù)神經(jīng)網(wǎng)絡(luò)運(yùn)行過程中的信息流向，可分為前饋式根據(jù)神經(jīng)網(wǎng)絡(luò)運(yùn)行過程中的信息流向，可分為前饋式和反饋式兩種基本類型。前饋網(wǎng)絡(luò)的輸出僅由當(dāng)前輸入和和反饋式兩種基本類型。前饋網(wǎng)絡(luò)的輸出僅由當(dāng)前輸入和權(quán)矩陣決定，而與網(wǎng)絡(luò)先前的輸出狀態(tài)無(wú)關(guān)。權(quán)矩陣決定，而與網(wǎng)絡(luò)先前的輸出狀態(tài)無(wú)關(guān)。 美國(guó)加州理工學(xué)院物理學(xué)家美國(guó)加州理工學(xué)院物理學(xué)家J.J.HopfieldJ.J.Hopfield教授于教授于19821982年提出一種單層

44、反饋神經(jīng)網(wǎng)絡(luò)，后來(lái)人們將這種反饋網(wǎng)絡(luò)年提出一種單層反饋神經(jīng)網(wǎng)絡(luò)，后來(lái)人們將這種反饋網(wǎng)絡(luò)稱作稱作Hopfield Hopfield 網(wǎng)。網(wǎng)。 66離散型反饋網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)離散型反饋網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) x1 x2 xi xn T1 T2 Ti Tn 3.1.6.1離散型離散型Hopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)67 DHNN網(wǎng)中的每個(gè)神經(jīng)元都有相同的功能，其輸出稱為網(wǎng)中的每個(gè)神經(jīng)元都有相同的功能，其輸出稱為狀態(tài)，用狀態(tài)，用 xj 表示。表示。)net( fxjjj=1,2,n 所有神經(jīng)元狀態(tài)的集合就構(gòu)成反饋網(wǎng)絡(luò)的狀態(tài)所有神經(jīng)元狀態(tài)的集合就構(gòu)成反饋網(wǎng)絡(luò)的狀態(tài)X=x1,x2,xnT 反饋網(wǎng)絡(luò)的輸入就是網(wǎng)絡(luò)的狀

45、態(tài)初始值，表示為反饋網(wǎng)絡(luò)的輸入就是網(wǎng)絡(luò)的狀態(tài)初始值，表示為X(0)=x1(0),x2(0),xn(0)T 反饋網(wǎng)絡(luò)在外界輸入激發(fā)下，從初始狀態(tài)進(jìn)入動(dòng)態(tài)演反饋網(wǎng)絡(luò)在外界輸入激發(fā)下，從初始狀態(tài)進(jìn)入動(dòng)態(tài)演變過程，變化規(guī)律為變過程，變化規(guī)律為3.1.6.1離散型離散型Hopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)680101sgnjjjjnetnetnetx）（j=1,2,n (3-64) DHNN網(wǎng)的轉(zhuǎn)移函數(shù)常采用符號(hào)函數(shù)網(wǎng)的轉(zhuǎn)移函數(shù)常采用符號(hào)函數(shù) 式中凈輸入為式中凈輸入為 nijiijjTxwnet1)(j=1,2,n (3-65) 對(duì)于對(duì)于DHNN網(wǎng)，一般有網(wǎng)，一般有wii=0 ，wij=wji。 反饋網(wǎng)絡(luò)穩(wěn)定時(shí)每個(gè)神經(jīng)元的狀態(tài)都不再改變，此時(shí)反饋網(wǎng)絡(luò)穩(wěn)定時(shí)每個(gè)神經(jīng)元的狀態(tài)都不再改變，此時(shí)的穩(wěn)定狀態(tài)就是網(wǎng)絡(luò)的輸出，表示為的穩(wěn)定狀態(tài)就是網(wǎng)絡(luò)的輸出，表示為 t)t(limX691.網(wǎng)絡(luò)的異步工作方式網(wǎng)絡(luò)的異步工作方式(1) (1) 異步工作方式異步工作方式 ijtxijtnettxjjj)()(sgn)1(3-66) (2) (2) 同步工作方式同步工作方式 )(sgn)1(tnettxjjj=1,2,n (3-67) 網(wǎng)絡(luò)運(yùn)行時(shí)每次只有一個(gè)神經(jīng)元網(wǎng)絡(luò)運(yùn)行時(shí)每次只有一個(gè)神經(jīng)元 j 進(jìn)行狀態(tài)的調(diào)整計(jì)算，其它神進(jìn)行狀態(tài)的調(diào)整計(jì)算，其它神