1、神經(jīng)網(wǎng)絡(luò)基本理論模糊控制從人的經(jīng)驗出發(fā)，解決了智能控制中人類語言的描述和推理問題，尤其是一些不確定性語言的描述和推理問題，從而在機器模擬人腦的感知、推理等智能行為方面邁出了重大的一步。模糊控制在處理數(shù)值數(shù)據(jù)、自學(xué)習(xí)能力等方面還遠沒有達到人腦的境界。人工神經(jīng)網(wǎng)絡(luò)從另一個角度出發(fā)，即從人惱的生理學(xué)和心理學(xué)著手，通過人工模擬人腦的工作機理來實現(xiàn)機器的部分智能行為。神經(jīng)網(wǎng)絡(luò)簡介神經(jīng)網(wǎng)絡(luò)簡介人工神經(jīng)網(wǎng)絡(luò)（簡稱神經(jīng)網(wǎng)絡(luò)，Neural Network）是模擬人腦思維方式的數(shù)學(xué)模型。神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代生物學(xué)研究人腦組織成果的基礎(chǔ)上提出的，用來模擬人類大腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和行為。神經(jīng)網(wǎng)絡(luò)反映了人腦功能的基本特征，如

2、并行信息處理、學(xué)習(xí)、聯(lián)想、模式分類、記憶等。20世紀80年代以來，人工神經(jīng)網(wǎng)絡(luò)（ANN，Artificial Neural Network）研究所取得的突破性進展。神經(jīng)網(wǎng)絡(luò)控制是將神經(jīng)網(wǎng)絡(luò)與控制理論相結(jié)合而發(fā)展起來的智能控制方法。它已成為智能控制的一個新的分支，為解決復(fù)雜的非線性、不確定、未知系統(tǒng)的控制問題開辟了新途徑。神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程經(jīng)過4個階段。1 啟蒙期（1890-1969年）1890年，發(fā)表專著心理學(xué)，討論了腦的結(jié)構(gòu)和功能。1943年，心理學(xué)家和數(shù)學(xué)家提出了描述腦神經(jīng)細胞動作的數(shù)學(xué)模型，即M-P模型（第一個神經(jīng)網(wǎng)絡(luò)模型）。1949年，心理學(xué)家Hebb實現(xiàn)了對腦細胞之間相互影響的數(shù)學(xué)描

3、述，從心理學(xué)的角度提出了至今仍對神經(jīng)網(wǎng)絡(luò)理論有著重要影響的Hebb學(xué)習(xí)法則。1958年，提出了描述信息在人腦中貯存和記憶的數(shù)學(xué)模型，即著名的感知機模型（Perceptron）。1962年，Widrow和Hoff提出了自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)，即Adaline網(wǎng)絡(luò)，并提出了網(wǎng)絡(luò)學(xué)習(xí)新知識的方法，即Widrow和Hoff學(xué)習(xí)規(guī)則（即學(xué)習(xí)規(guī)則），并用電路進行了硬件設(shè)計。神經(jīng)網(wǎng)絡(luò)簡介2 低潮期（1969-1982）受當時神經(jīng)網(wǎng)絡(luò)理論研究水平的限制及馮諾依曼式計算機發(fā)展的沖擊等因素的影響，神經(jīng)網(wǎng)絡(luò)的研究陷入低谷。在美、日等國有少數(shù)學(xué)者繼續(xù)著神經(jīng)網(wǎng)絡(luò)模型和學(xué)習(xí)算法的研究，提出了許多有意義的理論和方法。例如，19

4、69年，和提出了至今為止最復(fù)雜的ART網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以對任意復(fù)雜的二維模式進行自組織、自穩(wěn)定和大規(guī)模并行處理。1972年，Kohonen提出了自組織映射的SOM模型。神經(jīng)網(wǎng)絡(luò)簡介神經(jīng)網(wǎng)絡(luò)簡介3 復(fù)興期（1982-1986）1982年，物理學(xué)家Hoppield提出了Hoppield神經(jīng)網(wǎng)絡(luò)模型，該模型通過引入能量函數(shù)，實現(xiàn)了問題優(yōu)化求解，1984年他用此模型成功地解決了旅行商路徑優(yōu)化問題(TSP)。在1986年，在Rumelhart和McCelland等出版Parallel Distributed Processing一書，提出了一種著名的多層神經(jīng)網(wǎng)絡(luò)模型，即BP網(wǎng)絡(luò)。該網(wǎng)絡(luò)是迄今為止應(yīng)用最普遍

5、的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)簡介4 新連接機制時期（1986-現(xiàn)在）神經(jīng)網(wǎng)絡(luò)從理論走向應(yīng)用領(lǐng)域，出現(xiàn)了神經(jīng)網(wǎng)絡(luò)芯片和神經(jīng)計算機。神經(jīng)網(wǎng)絡(luò)主要應(yīng)用領(lǐng)域有：模式識別與圖象處理（語音、指紋、故障檢測和圖象壓縮等）、控制與優(yōu)化、預(yù)測與管理（市場預(yù)測、風(fēng)險分析）、通信等。神經(jīng)網(wǎng)絡(luò)簡介神經(jīng)網(wǎng)絡(luò)原理神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究表明，人腦極其復(fù)雜，由一千多億個神經(jīng)元交織在一起的網(wǎng)狀結(jié)構(gòu)構(gòu)成，其中大腦皮層約140億個神經(jīng)元，小腦皮層約1000億個神經(jīng)元。人腦能完成智能、思維等高級活動，為了能利用數(shù)學(xué)模型來模擬人腦的活動，導(dǎo)致了神經(jīng)網(wǎng)絡(luò)的研究。 神經(jīng)系統(tǒng)的基本構(gòu)造是神經(jīng)元(神經(jīng)細胞)，它是處理人體內(nèi)各部分之間相互信息傳遞

6、的基本單元。神經(jīng)網(wǎng)絡(luò)簡介每個神經(jīng)元都由一個細胞體，一個連接其他神經(jīng)元的軸突和一些向外伸出的其它較短分支樹突組成。軸突功能是將本神經(jīng)元的輸出信號(興奮)傳遞給別的神經(jīng)元，其末端的許多神經(jīng)末梢使得興奮可以同時傳送給多個神經(jīng)元。樹突的功能是接受來自其它神經(jīng)元的興奮。神經(jīng)元細胞體將接收到的所有信號進行簡單地處理后，由軸突輸出。 神經(jīng)元的軸突與另外神經(jīng)元神經(jīng)末梢相連的部分稱為突觸。神經(jīng)網(wǎng)絡(luò)簡介生物神經(jīng)元模型生物神經(jīng)元主要由細胞體、樹突和軸突組成，樹突和軸突負責(zé)傳入和傳出信息，興奮性的沖動沿樹突抵達細胞體，在細胞膜上累積形成興奮性電位；相反，抑制性沖動到達細胞膜則形成抑制性電位。兩種電位進行累加，若代數(shù)和

7、超過某個閾值，神經(jīng)元將產(chǎn)生沖動。 神經(jīng)網(wǎng)絡(luò)簡介神經(jīng)元由三部分構(gòu)成：（1）細胞體（主體部分）：包括細胞質(zhì)、細胞膜和細胞核；（2）樹突：用于為細胞體傳入信息；（3）軸突：為細胞體傳出信息，其末端是軸突末梢，含傳遞信息的化學(xué)物質(zhì)；（4）突觸：是神經(jīng)元之間的接口（104105個/每個神經(jīng)元）。一個神經(jīng)元通過其軸突的神經(jīng)末梢，經(jīng)突觸與另外一個神經(jīng)元的樹突連接，以實現(xiàn)信息的傳遞。由于突觸的信息傳遞特性是可變的，隨著神經(jīng)沖動傳遞方式的變化，傳遞作用強弱不同，形成了神經(jīng)元之間連接的柔性，稱為結(jié)構(gòu)的可塑性。 通過樹突和軸突，神經(jīng)元之間實現(xiàn)了信息的傳遞。神經(jīng)網(wǎng)絡(luò)簡介神經(jīng)元具有如下功能：(1)興奮與抑制：如果傳入神

8、經(jīng)元的沖動經(jīng)整和后使細胞膜電位升高，超過動作電位的閾值時即為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動，由軸突經(jīng)神經(jīng)末梢傳出。如果傳入神經(jīng)元的沖動經(jīng)整和后使細胞膜電位降低，低于動作電位的閾值時即為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動。(2) 學(xué)習(xí)與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強和減弱，因此神經(jīng)元具有學(xué)習(xí)與遺忘的功能。人工神經(jīng)元模型人工神經(jīng)元模型模仿生物神經(jīng)元產(chǎn)生沖動的過程，可以建立一個典型的人工神經(jīng)元數(shù)學(xué)模型x1,xnT為輸入向量，y為輸出，f()為激發(fā)函數(shù)，為閾值。 Wi為神經(jīng)元與其它神經(jīng)元的連接強度，也稱權(quán)值。人工神經(jīng)元模型常用的激發(fā)函數(shù)f 的種類 ：1）閾值型函數(shù)人工神經(jīng)元模型2）飽和型函數(shù)3）雙曲

9、函數(shù) 人工神經(jīng)元模型4）S型函數(shù)5）高斯函數(shù)神經(jīng)網(wǎng)絡(luò)的定義和特點 神經(jīng)網(wǎng)絡(luò)系統(tǒng)是由大量的神經(jīng)元，通過廣泛地互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)。 定義 特點（1）非線性映射逼近能力。任意的連續(xù)非線性函數(shù)映射關(guān)系可由多層神經(jīng)網(wǎng)絡(luò)以任意精度加以逼近。（2）自適應(yīng)性和自組織性。神經(jīng)元之間的連接具有多樣性，各神經(jīng)元之間的連接強度具有可塑性，網(wǎng)絡(luò)可以通過學(xué)習(xí)與訓(xùn)練進行自組織，以適應(yīng)不同信息處理的要求。（3） 并行處理性。網(wǎng)絡(luò)的各單元可以同時進行類似的處理過程，整個網(wǎng)絡(luò)的信息處理方式是大規(guī)模并行的，可以大大加快對信息處理的速度。（4）分布存儲和容錯性。信息在神經(jīng)網(wǎng)絡(luò)內(nèi)的存儲按內(nèi)容分布于許多神經(jīng)元中，而且每個神經(jīng)元

10、存儲多種信息的部分內(nèi)容。網(wǎng)絡(luò)的每部分對信息的存儲具有等勢作用，部分的信息丟失仍可以使完整的信息得到恢復(fù)，因而使網(wǎng)絡(luò)具有容錯性和聯(lián)想記憶功能。（5）便于集成實現(xiàn)和計算模擬。神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上是相同神經(jīng)元的大規(guī)模組合，特別適合于用大規(guī)模集成電路實現(xiàn)。 感知器(Perceptron)是由美國學(xué)者于1957年提出的，它是一個具有單層計算單元的神經(jīng)網(wǎng)絡(luò)，并由線性閾值元件組成。 激發(fā)函數(shù)為閾值型函數(shù)，當其輸入的加權(quán)和大于或等于閾值時，輸出為1，否則為0或-1。它的權(quán)系W可變，這樣它就可以學(xué)習(xí)。 感知器的結(jié)構(gòu)感知器模型感知器模型感知器的學(xué)習(xí)算法為方便起見，將閾值(它也同樣需要學(xué)習(xí))并入W中，令Wn+1=-，X

11、向量也相應(yīng)地增加一個分量xn+1=1，則學(xué)習(xí)算法： 給定初始值：賦給Wi(0)各一個較小的隨機非零值，這里Wi(t)為t時刻第i個輸入的權(quán)(1in)，Wn+1(t)為t時刻的閾值； 輸入一樣本X=(xi,xn,1)和它的希望輸出d； 計算實際輸出 修正權(quán)W ： Wi(t+1)=Wi(t)+d-Y(t)xi, i=1,2,n+1 轉(zhuǎn)到直到W對一切樣本均穩(wěn)定不變?yōu)橹埂?感知器模型根據(jù)某樣本訓(xùn)練時，均方差隨訓(xùn)練次數(shù)的收斂情況神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類 構(gòu)成 從Perceptron模型可以看出神經(jīng)網(wǎng)絡(luò)通過一組狀態(tài)方程和一組學(xué)習(xí)方程加以描述。 狀態(tài)方程描述每個神經(jīng)元的輸入、輸出、權(quán)值間的函數(shù)關(guān)系。 學(xué)習(xí)方程描

12、述權(quán)值應(yīng)該怎樣修正。神經(jīng)網(wǎng)絡(luò)通過修正這些權(quán)值來進行學(xué)習(xí)，從而調(diào)整整個神經(jīng)網(wǎng)絡(luò)的輸入輸出關(guān)系。 分類 （1）從結(jié)構(gòu)上劃分 通常所說的網(wǎng)絡(luò)結(jié)構(gòu)，主要是指它的聯(lián)接方式。神經(jīng)網(wǎng)絡(luò)從拓撲結(jié)構(gòu)上來說，主要分為層狀和網(wǎng)狀結(jié)構(gòu)。 神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類層狀結(jié)構(gòu)：網(wǎng)絡(luò)由若干層組成，每層中有一定數(shù)量的神經(jīng)元，相鄰層中神經(jīng)元單向聯(lián)接，一般同層內(nèi)神經(jīng)元不能聯(lián)接。前向網(wǎng)絡(luò)：只有前后相鄰兩層之間神經(jīng)元相互聯(lián)接，各神經(jīng)元之間沒有反饋。每個神經(jīng)元從前一層接收輸入，發(fā)送輸出給下一層。 神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類網(wǎng)狀結(jié)構(gòu)：網(wǎng)絡(luò)中任何兩個神經(jīng)元之間都可能雙向聯(lián)接。反饋網(wǎng)絡(luò)：從輸出層到輸入層有反饋，每一個神經(jīng)元同時接收外來輸入和來自其它神經(jīng)

13、元的反饋輸入，其中包括神經(jīng)元輸出信號引回自身輸入的自環(huán)反饋。 混合型網(wǎng)絡(luò)：前向網(wǎng)絡(luò)的同一層神經(jīng)元之間有互聯(lián)的網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類（2）從激發(fā)函數(shù)的類型上劃分 高斯基函數(shù)神經(jīng)網(wǎng)絡(luò)、小波基函數(shù)神經(jīng)網(wǎng)絡(luò)、樣條基函數(shù)神經(jīng)網(wǎng)絡(luò)等等 （3）從網(wǎng)絡(luò)的學(xué)習(xí)方式上劃分有導(dǎo)師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)為神經(jīng)網(wǎng)絡(luò)提供樣本數(shù)據(jù)，對網(wǎng)絡(luò)進行訓(xùn)練，使網(wǎng)絡(luò)的輸入輸出關(guān)系逼近樣本數(shù)據(jù)的輸入輸出關(guān)系。無導(dǎo)師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)不為神經(jīng)網(wǎng)絡(luò)提供樣本數(shù)據(jù)，學(xué)習(xí)過程中網(wǎng)絡(luò)自動將輸入數(shù)據(jù)的特征提取出來。 （4）從學(xué)習(xí)算法上來劃分：基于BP算法的網(wǎng)絡(luò)、基于Hebb算法的網(wǎng)絡(luò)、基于競爭式學(xué)習(xí)算法的網(wǎng)絡(luò)、基于遺傳算法的網(wǎng)絡(luò)。目前神經(jīng)網(wǎng)絡(luò)模型的種類相當豐富，

14、已有近40余種神經(jīng)網(wǎng)絡(luò)模型。 典型的神經(jīng)網(wǎng)絡(luò)有多層前向傳播網(wǎng)絡(luò) （BP網(wǎng)絡(luò)）、Hopfield網(wǎng)絡(luò)、CMAC小腦模型、ART網(wǎng)絡(luò)、BAM雙向聯(lián)想記憶網(wǎng)絡(luò)、SOM自組織網(wǎng)絡(luò)、Blotzman機網(wǎng)絡(luò)和Madaline網(wǎng)絡(luò)等。典型神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法是神經(jīng)網(wǎng)絡(luò)智能特性的重要標志，神經(jīng)網(wǎng)絡(luò)通過學(xué)習(xí)算法，實現(xiàn)了自適應(yīng)、自組織和自學(xué)習(xí)的能力。 目前神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法有多種，按有無導(dǎo)師分類，可分為有教師學(xué)習(xí)（Supervised Learning）、無教師學(xué)習(xí)（Unsupervised Learning）和再勵學(xué)習(xí)（Reinforcement Learning）等幾大類。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法 在有教師的學(xué)習(xí)

15、方式中，網(wǎng)絡(luò)的輸出和期望的輸出（即教師信號）進行比較，然后根據(jù)兩者之間的差異調(diào)整網(wǎng)絡(luò)的權(quán)值，最終使差異變小。 在無教師的學(xué)習(xí)方式中，輸入模式進入網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照一預(yù)先設(shè)定的規(guī)則（如競爭規(guī)則）自動調(diào)整權(quán)值，使網(wǎng)絡(luò)最終具有模式分類等功能。 再勵學(xué)習(xí)是介于上述兩者之間的一種學(xué)習(xí)方式。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法圖 有導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法圖 無導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法 最基本的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法：1、 Hebb學(xué)習(xí)規(guī)則 Hebb學(xué)習(xí)規(guī)則是一種聯(lián)想式學(xué)習(xí)算法。生物學(xué)家基于對生物學(xué)和心理學(xué)的研究，認為兩個神經(jīng)元同時處于激發(fā)狀態(tài)時，它們之間的連接強度將得到加強，這一論述的數(shù)學(xué)描述被稱為He

16、bb學(xué)習(xí)規(guī)則，即神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法其中， 為連接從神經(jīng)元 到神經(jīng)元 的當前權(quán)值， 和 為神經(jīng)元的激活水平。 Hebb學(xué)習(xí)規(guī)則是一種無教師的學(xué)習(xí)方法，它只根據(jù)神經(jīng)元連接間的激活水平改變權(quán)值，因此，這種方法又稱為相關(guān)學(xué)習(xí)或并聯(lián)學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法2 Delta（）學(xué)習(xí)規(guī)則假設(shè)誤差準則函數(shù)為：其中， 代表期望的輸出（教師信號）； 為網(wǎng)絡(luò)的實際輸出， ； 為網(wǎng)絡(luò)所有權(quán)值組成的向量： 為輸入模式：神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法其中訓(xùn)練樣本數(shù)為 。 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的目的是通過調(diào)整權(quán)值W，使誤差準則函數(shù)最小。 權(quán)值的調(diào)整采用梯度下降法來實現(xiàn)，其基本思想是沿著E的負梯度方向不斷修正W值，直到E達到最小。數(shù)學(xué)表達式為：神經(jīng)網(wǎng)絡(luò)

17、學(xué)習(xí)算法其中令 ，則W的修正規(guī)則為上式稱為學(xué)習(xí)規(guī)則，又稱誤差修正規(guī)則。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法1. 神經(jīng)網(wǎng)絡(luò)特征 神經(jīng)網(wǎng)絡(luò)具有以下幾個特征：（1）能逼近任意非線性函數(shù)；（2）信息的并行分布式處理與存儲； （3）可以多輸入、多輸出；（4）便于用超大規(guī)模集成電路（VISI）或光學(xué)集成電路系統(tǒng)實現(xiàn)，或用現(xiàn)有的計算機技術(shù)實現(xiàn)；（5）能進行學(xué)習(xí)，以適應(yīng)環(huán)境的變化。神經(jīng)網(wǎng)絡(luò)特征及要素2 神經(jīng)網(wǎng)絡(luò)要素 決定神經(jīng)網(wǎng)絡(luò)模型性能的三大要素為：（1）神經(jīng)元（信息處理單元）的特性；（2）神經(jīng)元之間相互連接的形式拓撲結(jié)構(gòu)；（3）為適應(yīng)環(huán)境而改善性能的學(xué)習(xí)規(guī)則。神經(jīng)網(wǎng)絡(luò)特征及要素神經(jīng)網(wǎng)絡(luò)控制的研究領(lǐng)域 （1） 基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)

18、辨識 將神經(jīng)網(wǎng)絡(luò)作為被辨識系統(tǒng)的模型，可在已知常規(guī)模型結(jié)構(gòu)的情況下，估計模型的參數(shù)。 利用神經(jīng)網(wǎng)絡(luò)的線性、非線性特性，可建立線性、非線性系統(tǒng)的靜態(tài)、動態(tài)、逆動態(tài)及預(yù)測模型，實現(xiàn)非線性系統(tǒng)的建模和辨識。(2) 神經(jīng)網(wǎng)絡(luò)控制器 神經(jīng)網(wǎng)絡(luò)作為實時控制系統(tǒng)的控制器，對不確定、不確知系統(tǒng)及擾動進行有效的控制，使控制系統(tǒng)達到所要求的動態(tài)、靜態(tài)特性。 (3) 神經(jīng)網(wǎng)絡(luò)與其他算法相結(jié)合 將神經(jīng)網(wǎng)絡(luò)與專家系統(tǒng)、模糊邏輯、遺傳算法等相結(jié)合，可設(shè)計新型智能控制系統(tǒng)。神經(jīng)網(wǎng)絡(luò)控制的研究領(lǐng)域 (4) 優(yōu)化計算 在常規(guī)的控制系統(tǒng)中，常遇到求解約束優(yōu)化問題，神經(jīng)網(wǎng)絡(luò)為這類問題的解決提供了有效的途徑。 目前，神經(jīng)網(wǎng)絡(luò)控制已經(jīng)

19、在多種控制結(jié)構(gòu)中得到應(yīng)用，如PID控制、模型參考自適應(yīng)控制、前饋反饋控制、內(nèi)?？刂?、預(yù)測控制、模糊控制等。神經(jīng)網(wǎng)絡(luò)控制的研究領(lǐng)域 多層前向BP神經(jīng)網(wǎng)絡(luò) 最早由werbos在1974年提出的，1985年由Rumelhart再次進行發(fā)展。 多層前向神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)多層前向神經(jīng)網(wǎng)絡(luò)由輸入層、隱層（不少于1層）、輸出層組成，信號沿輸入輸出的方向逐層傳遞。 多層前向BP神經(jīng)網(wǎng)絡(luò)沿信息的傳播方向，給出網(wǎng)絡(luò)的狀態(tài)方程，用Inj(i)， Outj(i)表示第i層第j個神經(jīng)元的輸入和輸出，則各層的輸入輸出關(guān)系可描述為： 第一層（輸入層）：將輸入引入網(wǎng)絡(luò) 第二層（隱層）第三層（輸出層） 多層前向BP神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的學(xué)

20、習(xí) 學(xué)習(xí)的基本思想是：誤差反傳算法調(diào)整網(wǎng)絡(luò)的權(quán)值，使網(wǎng)絡(luò)的實際輸出盡可能接近期望的輸出。 假設(shè)有M個樣本: 將第k個樣本Xk輸入網(wǎng)絡(luò)，得到的網(wǎng)絡(luò)輸出為 定義學(xué)習(xí)的目標函數(shù)為 ：多層前向BP神經(jīng)網(wǎng)絡(luò)為使目標函數(shù)最小，訓(xùn)練算法是：令 則多層前向BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的步驟：（1）依次取第k組樣本 ，將Xk輸入網(wǎng)絡(luò)。（2）依次計算 ，如果 ，退出。（3）計算（4）計算（5），修正權(quán)值，返回（1） 如果樣本數(shù)少，則學(xué)習(xí)知識不夠；如果樣本多，則需計算更多的dJk/dw, ，訓(xùn)練時間長?？刹捎秒S機學(xué)習(xí)法每次以樣本中隨機選取幾個樣本，計算 dJk/dw, ，調(diào)整權(quán)值。 例4.1 多層前向BP網(wǎng)絡(luò)訓(xùn)練訓(xùn)練樣本SIS

21、O：SampleInput=0 0.1 0.2 0.3 0.4;SampleOutput=4 2 2 2 2;網(wǎng)絡(luò)結(jié)構(gòu)：網(wǎng)絡(luò)輸入輸出關(guān)系：需訓(xùn)練的量：訓(xùn)練算法：訓(xùn)練初始參數(shù)：W1=rand(1,5);W2=rand(1,5);theta=rand(1,5);beta=rand(1,5);LearningRate1=0.2;LearningRate2=0.4;LearningRate3=0.2;LearningRate4=0.2;訓(xùn)練后參數(shù)：W1-0.4059 8.5182 -0.5994 -0.1153 -1.1916;W2=0.6245 2.8382 0.6632 0.5783 3.5775

22、;Beta=1.6219 -4.9403 1.6041 1.5145 -0.3858;Theta=1.5832 0.1900 1.5406 1.6665 -0.1441;訓(xùn)練1000次目標函數(shù)的變化曲線：訓(xùn)練結(jié)束后神經(jīng)網(wǎng)絡(luò)的輸出與樣本的擬和情況BP網(wǎng)絡(luò)的優(yōu)點為：（1）只要有足夠多的隱層和隱層節(jié)點，BP網(wǎng)絡(luò)可以逼近任意的非線性映射關(guān)系；（2）BP網(wǎng)絡(luò)的學(xué)習(xí)算法屬于全局逼近算法，具有較強的泛化能力。（3）BP網(wǎng)絡(luò)輸入輸出之間的關(guān)聯(lián)信息分布地存儲在網(wǎng)絡(luò)的連接權(quán)中，個別神經(jīng)元的損壞只對輸入輸出關(guān)系有較小的影響，因而BP網(wǎng)絡(luò)具有較好的容錯性。BP網(wǎng)絡(luò)的主要缺點為：（1）待尋優(yōu)的參數(shù)多，收斂速度慢；（2）

23、目標函數(shù)存在多個極值點，按梯度下降法進行學(xué)習(xí)，很容易陷入局部極小值；（3）難以確定隱層及隱層節(jié)點的數(shù)目。目前，如何根據(jù)特定的問題來確定具體的網(wǎng)絡(luò)結(jié)構(gòu)尚無很好的方法，仍需根據(jù)經(jīng)驗來試湊。由于BP網(wǎng)絡(luò)具有很好的逼近非線性映射的能力，該網(wǎng)絡(luò)在模式識別、圖像處理、系統(tǒng)辨識、函數(shù)擬合、優(yōu)化計算、最優(yōu)預(yù)測和自適應(yīng)控制等領(lǐng)域有著較為廣泛的應(yīng)用。 由于BP網(wǎng)絡(luò)具有很好的逼近特性和泛化能力，可用于神經(jīng)網(wǎng)絡(luò)控制器的設(shè)計。但由于BP網(wǎng)絡(luò)收斂速度慢，難以適應(yīng)實時控制的要求。BP網(wǎng)絡(luò)逼近仿真實例使用BP網(wǎng)絡(luò)逼近對象： BP網(wǎng)絡(luò)逼近程序見chap7_1.m BP網(wǎng)絡(luò)模式識別由于神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)、自組織和并行處理等特征，

24、并具有很強的容錯能力和聯(lián)想能力，因此，神經(jīng)網(wǎng)絡(luò)具有模式識別的能力在神經(jīng)網(wǎng)絡(luò)模式識別中，根據(jù)標準的輸入輸出模式對，采用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，以標準的模式作為學(xué)習(xí)樣本進行訓(xùn)練，通過學(xué)習(xí)調(diào)整神經(jīng)網(wǎng)絡(luò)的連接權(quán)值。當訓(xùn)練滿足要求后，得到的神經(jīng)網(wǎng)絡(luò)權(quán)值構(gòu)成了模式識別的知識庫，利用神經(jīng)網(wǎng)絡(luò)并行推理算法對所需要的輸入模式進行識別。當待識別的輸入模式與訓(xùn)練樣本中的某個輸入模式相同時，神經(jīng)網(wǎng)絡(luò)識別的結(jié)果就是與訓(xùn)練樣本中相對應(yīng)的輸出模式。當待識別的輸入模式與訓(xùn)練樣本中所有輸入模式都不完全相同時，則可得到與其相近樣本相對應(yīng)的輸出模式。當待識別的輸入模式與訓(xùn)練樣本中所有輸入模式相差較遠時，就不能得到正確的識別結(jié)果，此時可將

25、這一模式作為新的樣本進行訓(xùn)練，使神經(jīng)網(wǎng)絡(luò)獲取新的知識，并存儲到網(wǎng)絡(luò)的權(quán)值矩陣中，從而增強網(wǎng)絡(luò)的識別能力。BP網(wǎng)絡(luò)的訓(xùn)練過程如下：正向傳播是輸入信號從輸入層經(jīng)隱層傳向輸出層，若輸出層得到了期望的輸出，則學(xué)習(xí)算法結(jié)束；否則，轉(zhuǎn)至反向傳播RBF神經(jīng)網(wǎng)絡(luò) 徑向基函數(shù)(RBF-Radial Basis Function)神經(jīng)網(wǎng)絡(luò)是由和在80年代末提出的一種神經(jīng)網(wǎng)絡(luò),它是具有單隱層的三層前饋網(wǎng)絡(luò)。 由于它模擬了人腦中局部調(diào)整、相互覆蓋接收域（或稱感受野-Receptive Field）的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，因此，RBF網(wǎng)絡(luò)是一種局部逼近網(wǎng)絡(luò)，已證明它能任意精度逼近任意連續(xù)函數(shù)。RBF網(wǎng)絡(luò)特點(1) RBF網(wǎng)絡(luò)的

26、作用函數(shù)為高斯函數(shù)，是局部的，BP網(wǎng)絡(luò)的作用函數(shù)為S函數(shù)，是全局的；(2) 如何確定RBF網(wǎng)絡(luò)隱層節(jié)點的中心及基寬度參數(shù)是一個困難的問題；(3) 已證明RBF網(wǎng)絡(luò)具有唯一最佳逼近的特性，且無局部極小。RBF網(wǎng)絡(luò)結(jié)構(gòu) RBF網(wǎng)絡(luò)是一種三層前向網(wǎng)絡(luò)，由于輸入到輸出的映射是非線性的，而隱含層空間到輸出空間的映射是線性的，從而可以大大加快學(xué)習(xí)速度并避免局部極小問題。RBF網(wǎng)絡(luò)的逼近在RBF網(wǎng)絡(luò)結(jié)構(gòu)中， 為網(wǎng)絡(luò)的輸入向量。設(shè)RBF網(wǎng)絡(luò)的徑向基向量，其中hj為高斯基函數(shù)：網(wǎng)絡(luò)的第j個結(jié)點的中心矢量為： 其中，i=1,2,n設(shè)網(wǎng)絡(luò)的基寬向量為： 為節(jié)點的基寬度參數(shù)，且為大于零的數(shù)。網(wǎng)絡(luò)的權(quán)向量為：k時刻網(wǎng)絡(luò)

27、的輸出為： 設(shè)理想輸出為y(k)，則性能指標函數(shù)為： 根據(jù)梯度下降法，輸出權(quán)、節(jié)點中心及節(jié)點基寬參數(shù)的迭代算法如下： 陣(即為對象的輸出對控制輸入的靈敏度信息)算法為：其中取 。其中, 為學(xué)習(xí)速率， 為動量因子。RBF網(wǎng)絡(luò)逼近仿真實例使用RBF網(wǎng)絡(luò)逼近下列對象：RBF網(wǎng)絡(luò)逼近程序見。 對角回歸型神經(jīng)網(wǎng)絡(luò)（DRNN：Diagonal Recurrent Neural Network）是具有反饋的動態(tài)神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)能夠更直接更生動地反映系統(tǒng)的動態(tài)特性，它在BP網(wǎng)絡(luò)基本結(jié)構(gòu)的基礎(chǔ)上，通過存儲內(nèi)部狀態(tài)使其具備映射動態(tài)特征的功能，從而使系統(tǒng)具有適應(yīng)時變特性的能力，DRNN網(wǎng)絡(luò)代表了神經(jīng)網(wǎng)絡(luò)建模和控制的

28、方向?；貧w神經(jīng)網(wǎng)絡(luò)DRNN網(wǎng)絡(luò)結(jié)構(gòu) DRNN網(wǎng)絡(luò)是一種三層前向網(wǎng)絡(luò)，其隱含層為回歸層。正向傳播是輸入信號從輸入層經(jīng)隱層傳向輸出層，若輸出層得到了期望的輸出，則學(xué)習(xí)算法結(jié)束；否則，轉(zhuǎn)至反向傳播。反向傳播就是將誤差信號（理想輸出與實際輸出之差）按聯(lián)接通路反向計算，由梯度下降法調(diào)整各層神經(jīng)元的權(quán)值和閾值，使誤差信號減小。 DRNN網(wǎng)絡(luò)結(jié)構(gòu)如圖7-18所示。圖7-18 DRNN神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 在該網(wǎng)絡(luò)中, 設(shè) 為網(wǎng)絡(luò)輸入向量, 為輸入層第 i個神經(jīng)元的輸入，網(wǎng)絡(luò)回歸層第 j 個神經(jīng)元的輸出為 , 為第 個回歸神經(jīng)元輸入總和, 為S函數(shù)， 為 DRNN網(wǎng)絡(luò)的輸出。 和 為網(wǎng)絡(luò)回歸層和輸出層的權(quán)值向量, 為

29、網(wǎng)絡(luò)輸入層的權(quán)值向量。 DRNN網(wǎng)絡(luò)逼近的結(jié)構(gòu)如圖所示，圖中k為網(wǎng)絡(luò)的迭代步驟，u(k)和y(k)為辨識器的輸入。DRNN為網(wǎng)絡(luò)辨識器。y(k)為被控對象實際輸出，ym(k)為DRNN的輸出。將系統(tǒng)輸出y(k)及輸入u(k)的值作為辨識器DRNN的輸入，將系統(tǒng)輸出與網(wǎng)絡(luò)輸出的誤差作為辨識器的調(diào)整信號。 網(wǎng)絡(luò)輸出層的輸出為網(wǎng)絡(luò)回歸層的輸出為網(wǎng)絡(luò)回歸層的輸入為逼近誤差為：性能指標函數(shù)為：學(xué)習(xí)算法采用梯度下降法其中回歸層神經(jīng)元取雙函數(shù)為其中， 分別為輸入層、回歸層和輸出層的學(xué)習(xí)速率， 為慣性系數(shù)。DRNN網(wǎng)絡(luò)逼近仿真實例使用DRNN網(wǎng)絡(luò)逼近下列對象：DRNN網(wǎng)絡(luò)逼近程序見。 是一種無導(dǎo)師學(xué)習(xí)的網(wǎng)絡(luò)腦

30、神經(jīng)科學(xué)研究表明：傳遞感覺的神經(jīng)元排列是按某種規(guī)律有序進行的，這種排列往往反映所感受的外部刺激的某些物理特征。 大腦自組織神經(jīng)網(wǎng)絡(luò)在接受外界輸入時，將會分成不同的區(qū)域，不同的區(qū)域?qū)Σ煌哪Ｊ骄哂胁煌捻憫?yīng)特征，即不同的神經(jīng)元以最佳方式響應(yīng)不同性質(zhì)的信號激勵，從而形成一種拓撲意義上的有序排列 在這種網(wǎng)絡(luò)中，輸出節(jié)點與其鄰域其他節(jié)點廣泛相連，并互相激勵。輸入節(jié)點和輸出節(jié)點之間通過強度wij(t)相連接。通過某種規(guī)則，不斷地調(diào)整wij(t)，使得在穩(wěn)定時，每一鄰域的所有節(jié)點對某種輸入具有類似的輸出，并且這種聚類的概率分布與輸入模式的概率分布相接近。 大腦自組織神經(jīng)網(wǎng)絡(luò)自組織學(xué)習(xí)算法：權(quán)值初始化并選定

31、領(lǐng)域的大小；(2) 輸入模式； (3) 計算空間距離式中xi(t)是t時刻i節(jié)點的輸入，wij(t)是輸入節(jié)點i與輸出節(jié)點j 的連接強度，N為輸入節(jié)點的數(shù)目； (4) 選擇節(jié)點j*，它滿足(5) 按下式改變j*和其領(lǐng)域節(jié)點的連接強度 wij(t+1)= wij(t)+(t)xi(t)- wij(t), jj*的領(lǐng)域，0iN-1 式中(t)稱之為衰減因子。 (6) 返回到第(2)步，直至滿足xi(t)- wij(t)2(為給定的誤差)。 例4.2 大腦自組織網(wǎng)絡(luò)的訓(xùn)練輸入模式：Xx1,x2,x3網(wǎng)絡(luò)節(jié)點數(shù)量：9 鄰域：1網(wǎng)絡(luò)初始權(quán)值： 0.4668 0.7241 0.7085 0.4733 0.

32、8045 0.3939 0.5692 0.0877 0.3025;1. 單模式訓(xùn)練情況輸入為：X=0 0 1結(jié)果： 0.4668 1.0000 1.0000 1.0000 0.8045 0.3939 0.5692 0.0877 0.3025輸入為：X=0 1 0結(jié)果： 0.4668 0.7241 0.7085 0.4733 0.8045 0.3939 0.0000 0.0000 0.00002. 多模式訓(xùn)練情況1 0 00 1 00 0 1Input=訓(xùn)練結(jié)果：0.0000 0.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.00000.000

33、0 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 1.0000 1.00001.0000 1.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000W網(wǎng)絡(luò)輸出：Output=Input*W=0.0000 0.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.00000.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 1.0000 1.00001.0000 1.0000 0.0000 0.0000 0.0000 0

34、.0000 0.0000 0.0000 0.0000模式1模式2模式3模式2模式1模式3模式1模式2模式3小腦神經(jīng)網(wǎng)絡(luò)小腦模型關(guān)節(jié)控制器（CMAC）是由Albus最初于1975年基于神經(jīng)生理學(xué)提出的，它是一種基于局部逼近的簡單快速的神經(jīng)網(wǎng)絡(luò)，能夠?qū)W習(xí)任意多維非線性映射, 迄今已廣泛用于許多領(lǐng)域。CMAC具有優(yōu)點：具有局部逼近能力，每次修正的權(quán)值極少，學(xué)習(xí)速度快，適合于在線學(xué)習(xí)；一定的泛化能力，相近輸入給出相近輸出，不同輸入給出不同輸出；CMAC的原理CMAC是一種模仿人類小腦的學(xué)習(xí)結(jié)構(gòu)。在這種技術(shù)里，每個狀態(tài)變量被量化并且輸入空間被劃分成離散狀態(tài)。量化的輸入構(gòu)成的向量指定了一個離散狀態(tài)并且被用

35、于產(chǎn)生地址來激活聯(lián)想單元中存儲的聯(lián)想強度從而恢復(fù)這個狀態(tài)的信息。對于輸入空間大的情況，聯(lián)想單元數(shù)量巨大，為了節(jié)省存儲空間，Albus提出了hash編碼，將聯(lián)想強度存于數(shù)量大大少于聯(lián)想單元的hash單元中，聯(lián)想單元中只存儲hash單元的散列地址編碼CMAC的空間劃分和量化機制超立方體聯(lián)想單元“塊”CMAC學(xué)習(xí)的數(shù)學(xué)推導(dǎo)1)無hash映射的CMAC在CMAC中，每個量化的狀態(tài)對應(yīng)Ne個聯(lián)想單元。假設(shè)Nh是總的聯(lián)想單元的數(shù)量，該數(shù)量與沒有hash映射時的物理存儲空間大小一致。用CMAC技術(shù)，第s個狀態(tài)對應(yīng)的輸出數(shù)據(jù)ys可以被表示為： 式中W是代表存儲內(nèi)容（聯(lián)想強度）的向量，Cs是存儲單元激活向量，該

36、向量包含Ne個1。在決定了空間的劃分方式后，對于指定的狀態(tài)，單元激活向量Cs也隨之確定。 2)有hash映射的CMAC hash映射將幾個聯(lián)想單元和一個物理存儲位置(hash單元)相對應(yīng)。hash單元中存儲聯(lián)想強度，而此時的聯(lián)想單元是虛擬的存儲空間，只存儲hash單元的散列地址編碼。有hash映射的CMAC特別適用于存儲空間小于超立方體數(shù)量時的情況。用有hash映射的CMAC技術(shù)，第s個狀態(tài)對應(yīng)的輸出數(shù)據(jù)ys可以被表示為： 式中Mp是hash單元的數(shù)量，它小于聯(lián)想單元數(shù)Nh。hij=1表示聯(lián)想單元i激活hash單元j。由于每個聯(lián)想單元僅僅和一個hash單元相對應(yīng)，所以hash矩陣H的每一行僅有一個單元等于1，其余的都等于0。 沒有hash映射的公式和有hash映射的公式可以合并為一個式子： CMAC的學(xué)習(xí)CMAC用迭代算法來訓(xùn)練聯(lián)想強度。在學(xué)習(xí)中，我們將Ns個訓(xùn)練數(shù)據(jù)重復(fù)用于學(xué)習(xí)。在第i次迭代中用第s個樣本學(xué)習(xí)的迭代算法為： S：樣本數(shù)i：迭