1、P神經(jīng)網(wǎng)絡(luò)實驗報告一、實驗?zāi)康?、熟悉MATLAB中神經(jīng)網(wǎng)絡(luò)工具箱的使用方法；2、通過在MATLAB下面編程實現(xiàn)BP網(wǎng)絡(luò)逼近標準正弦函數(shù)，來加深對 BP網(wǎng)絡(luò)的了 解和認識，理解信號的正向傳播和誤差的反向傳遞過程。二、實驗原理由于傳統(tǒng)的感知器和線性神經(jīng)網(wǎng)絡(luò)有自身無法克服的缺陷，它們都不能解決線性不可分 問題，因此在實際應(yīng)用過程中受到了限制。而BP網(wǎng)絡(luò)卻擁有良好的繁泛化能力、容錯能力以及非線性映射能力。因此成為應(yīng)用最為廣泛的一種神經(jīng)網(wǎng)絡(luò)。BP算法的基本思想是把學習過程分為兩個階段：第一階段是信號的正向傳播過程； 輸入信息通過輸入層、隱層逐層處理并計算每個單元的實際輸出值；第二階段是誤差的反向傳遞

2、過程；若在輸入層未能得到期望的輸出值，則逐層遞歸的計算實際輸出和期望輸出的差值 （即 誤差），以便根據(jù)此差值調(diào)節(jié)權(quán)值。這種過程不斷迭代，最后使得信號誤差達到允許或規(guī)定的 范圍之內(nèi)。iT.卜輸人層降作怯輪出畑基于BP算法的多層前饋型網(wǎng)絡(luò)模型的拓撲結(jié)構(gòu)如上圖所示X,X2 Xi Xn_i xnBP算法的數(shù)學描述：三層BP前饋網(wǎng)絡(luò)的數(shù)學模型如上圖所示。三層前饋網(wǎng)中，輸入向量為：X =(Xi,X2,.,Xi,.,Xn)T ;隱層輸入向量為：丫 = (yi,yj ,.ym)T ;輸出層輸出向量 為：O nQ,。?,.,ok,.0| )T ；期望輸出向量為：d =(4 ,d2 ,.dk,.d| )T。輸入層

3、到隱層之間的 權(quán)值矩陣用V表示，V =(W, V2 ,.Vj ,.Vm)丫 ,其中列向量Vj為隱層第j個神經(jīng)元對應(yīng)的權(quán)向量;隱層到輸出層之間的權(quán)值矩陣用 W表示，W二輛”皿”側(cè))，其中列向量wk為輸出層第 k個神經(jīng)元對應(yīng)的權(quán)向量。F面分析各層信號之間的數(shù)學關(guān)系。對于輸出層，有yj = f (netj), j 1,2,.,mnetj =、 VijXi, j =1,2,., m對于隱層，有Ok = f (netk ), k u1,2,.,1mnetk = " Wjk yi, k =1,2,.,lj =e以上兩式中，轉(zhuǎn)移函數(shù)f(x)均為單極性Sigmoid函數(shù)：f(x) 1 +ef(x)具

4、有連續(xù)、可導(dǎo)的特點，且有f'(x)二f (x)1 - f(x)以上共同構(gòu)成了三層前饋網(wǎng)了的數(shù)學模型。當網(wǎng)絡(luò)輸出和期望輸出不相等時，存在輸出誤差 E如下:E 十 -0)2 十(dk -Ok)222 j 20將以上誤差定義式展開至隱層，有1 l 1 l m 2E dk - f(netj)2d fC Wjkyj)2 k =12 k mj =0n-fri =0n2WjkfCVijK)i=0進一步展開至輸入層，有1 l m 2 1 l E = 、dk - fWjk f (netj)二、dk2 k =1j =02 k 壬由上式可以看出，網(wǎng)絡(luò)輸入誤差是兩層權(quán)值W和V的函數(shù)，因此調(diào)整權(quán)值可以改變誤差E

5、。顯然，調(diào)整權(quán)值的原則是使誤差不斷的減小，因此應(yīng)使權(quán)值的調(diào)整量與誤差的負梯度成正比，即:LWjk - - E , j = 0,1,2,m; k =1,2，.,lcWjkEVij,i =0,1,2,.,n; j =1,2,m式中負號表示梯度下降，常數(shù) (0,1)表示比例系數(shù)，在訓練中反映了學習速率。容易看出，BP學習算法中，各層權(quán)值調(diào)整公式形式上都是一樣的，均有3個因素決定,即：學習速率、本層誤差信號和本層輸入信號X/Y。其中輸出層誤差信號同網(wǎng)絡(luò)的期望輸出與實際輸出之差有關(guān)，直接反映了輸出誤差，而各隱層的誤差信號與前面各層的誤差信號都 有關(guān)，是從輸出層開始逐層反傳過來的。三、程序clcclear

6、 allk=1;n=10;P=-1:0.05:1;T=si n( k*pi*P);plot(P,T,'-');title('要逼近的非線性函數(shù)');xlabel('輸入向量');ylabel('非線性函數(shù)目標輸出向量');n et=n ewff(mi nm ax(P), n,1,'ta nsig','pureli n','trai nl m'); y1=sim (n et,P);n et.tra in Param.epochs=50;n et.tra in Param.goal=0.

7、01;net=trai n(n et,P,T);y2=sim( net,P);figure;plot(P,T,'-',P,y1,'-',P,y2,'*');title('訓練前后的網(wǎng)絡(luò)仿真結(jié)果對比');xlabel('輸入向量');ylabel('輸出向量');lege nd('目標函數(shù)輸出向量,'未訓練BP網(wǎng)絡(luò)輸出,'已訓練BP網(wǎng)絡(luò)輸出');仿真結(jié)果如下圖:I uH 凹Bl Training with TRAINLMFile Edit View Insert Too

8、lsDesktop Window Help-se-seooanm6uc2l10'110'210*3-Performance is 0.00126849. Goal is 0.011010110°00.20.40.60.811.21.41.61.82Stop Training2 EpochsJ h igure 上"ih Edit View Insert Tools Desktop Window HelpB愆Q紳®底國 OH叵H渥訓練前后的網(wǎng)絡(luò)仿真結(jié)果對比210-20 6訂 *0 84 6-0.4-0.200.2輸入向量由仿真結(jié)果圖可以看出，未經(jīng)訓練的

9、BP網(wǎng)絡(luò)輸出與目標函數(shù)差距很大，逼近效果不理想, 而對BP網(wǎng)絡(luò)訓練之后的輸出可以較精確的逼近目標函數(shù)，并且BP網(wǎng)絡(luò)的訓練迭代次數(shù)僅約1.2次，網(wǎng)絡(luò)的輸出目標誤差就達到了精度要求，收斂速度很快。函數(shù)逼近效果、網(wǎng)絡(luò)訓練的 收斂速度與原始非線性函數(shù)的頻率、BP網(wǎng)絡(luò)隱含層單元神經(jīng)元的數(shù)目以及 BP網(wǎng)絡(luò)訓練函數(shù) 有關(guān)。四、實驗結(jié)論通過編程實現(xiàn)使用BP網(wǎng)絡(luò)對函數(shù)進行逼近，對BP網(wǎng)絡(luò)的信號和誤差傳遞的原理以及隱 層、輸出層權(quán)值調(diào)整的規(guī)則有了充分的理解和認識。BP網(wǎng)絡(luò)是一個強大的工具，它是應(yīng)用最為廣泛的網(wǎng)絡(luò)。用于文字識別、模式分類、文字 到聲音的轉(zhuǎn)換、圖像壓縮、決策支持等。但是，通過實驗看出，它還是存在一定的不足。由于本實驗中采用的學習率是固定不變 的，從而使得在函數(shù)逼近的時候在有些地方出現(xiàn)了偏離，如果能