1、基于EKF的模糊神經(jīng)網(wǎng)絡(luò)快速自構(gòu)造學(xué)習(xí)算法研究摘要:為了快速地布局一個(gè)有用的模糊神經(jīng)網(wǎng)絡(luò),提出一種基于擴(kuò)展卡爾曼濾波(ekf)的模糊神經(jīng)網(wǎng)絡(luò)自構(gòu)造學(xué)習(xí)算法。在本算法中,根據(jù)提出的無須顛末修剪歷程的生長準(zhǔn)那么增長規(guī)矩,加快了網(wǎng)絡(luò)在線學(xué)習(xí)歷程;利用ekf算法更新網(wǎng)絡(luò)的自由參數(shù),加強(qiáng)了網(wǎng)絡(luò)的魯棒性。仿真效果表白,該算法可以或許快速學(xué)習(xí)、精良的迫近精度和泛化本領(lǐng)。關(guān)鍵詞:模糊神經(jīng)網(wǎng)絡(luò);擴(kuò)展卡爾曼濾波;自構(gòu)造學(xué)習(xí)fastself-rganizinglearningalgrithbasednekffrfuzzyneuralnetrkzhushang-b,liuyu-jing(llegefputersien

2、e,hngqinguniversity,hngqing400044,hina)keyrds:fuzzyneuralnetrk;extendedkalanfilter(ekf);self-rganizinglearning模糊神經(jīng)網(wǎng)絡(luò)劈頭于20世紀(jì)80年代后期的日本,由于其簡樸、有用,已經(jīng)被普及應(yīng)用在產(chǎn)業(yè)操縱、體系辨識(shí)、形式識(shí)別、數(shù)據(jù)開掘等很多范疇14。然而,怎樣從可用的數(shù)據(jù)集和專家知識(shí)中獵取符合的規(guī)矩?cái)?shù)仍舊是一個(gè)尚未辦理的題目。為了獵取模糊規(guī)矩,研究職員提出了差異的算法,如文獻(xiàn)5利用正交最小二乘算法確定徑向基函數(shù)的中央,但是該算法練習(xí)速率比力慢;文獻(xiàn)6提出了基于徑向基函數(shù)的自順應(yīng)模糊體系,其算

3、法利用了分層自構(gòu)造學(xué)習(xí)計(jì)謀,但是迫近精度低。擴(kuò)展卡爾曼濾波(ekf)算法作為一種非線性更新算法,在神經(jīng)網(wǎng)絡(luò)中得到了普及應(yīng)用。文獻(xiàn)7利用擴(kuò)展卡爾曼濾波算法調(diào)解多層感知器的權(quán)值,文獻(xiàn)8利用擴(kuò)展卡爾曼濾波算法調(diào)解徑向基函數(shù)網(wǎng)絡(luò)的權(quán)值。本文提出了一種模糊神經(jīng)網(wǎng)絡(luò)的快速自構(gòu)造學(xué)習(xí)算法(sfnn)。該算法基于無須修剪歷程的生長準(zhǔn)那么增長模糊規(guī)矩,加快了網(wǎng)絡(luò)學(xué)習(xí)歷程,同時(shí)利用ekf調(diào)解網(wǎng)絡(luò)的參數(shù)。在該算法中,模糊神經(jīng)網(wǎng)絡(luò)布局不是預(yù)先設(shè)定的,而是在學(xué)習(xí)歷程中動(dòng)態(tài)變革的,即在學(xué)習(xí)開始前沒有一條模糊規(guī)矩,在學(xué)習(xí)歷程中漸漸增長模糊規(guī)矩。與傳統(tǒng)的模糊神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法比擬,本算法所得到的模糊規(guī)矩?cái)?shù)并不會(huì)隨著輸入變量的增

4、長而呈指數(shù)增長,特別是本算法無須范疇的專家知識(shí)就可以實(shí)現(xiàn)對(duì)體系的主動(dòng)建模及抽取模糊規(guī)矩。固然,假設(shè)方案者是范疇專家,其知識(shí)也可以直接用于體系方案。本算法所得到的模糊神經(jīng)網(wǎng)絡(luò)具有布局孝制止出現(xiàn)過擬合征象等特點(diǎn)。1sfnn的布局本文接納與文獻(xiàn)9相似的網(wǎng)絡(luò)布局,如圖1所示。此中,r是輸入變量個(gè)數(shù);?x?i(i=1,2,r)是輸入語言變量;y是體系的輸出;fij是第i個(gè)輸入變量的第j個(gè)附屬函數(shù);r?j表現(xiàn)第j條模糊規(guī)矩;?j是第j條規(guī)矩的效果參數(shù);u是體系總的規(guī)矩?cái)?shù)。下面是對(duì)該網(wǎng)絡(luò)各層寄義的詳細(xì)形貌。第一層:輸入層。每個(gè)節(jié)點(diǎn)代表一個(gè)輸入語言變量。第二層:附屬函數(shù)層。每個(gè)節(jié)點(diǎn)代表一個(gè)附屬函數(shù),附屬函數(shù)接

5、納如下的高斯函數(shù):ij=exp(-(x?i-ij)?2?2ij);i=1,2,r;j=1,2,u(1)此中:r是輸入變量數(shù);u是附屬函數(shù)個(gè)數(shù),也代表體系的總規(guī)矩?cái)?shù);ij是x?i的第j個(gè)高斯附屬函數(shù);ij是x?i的第j個(gè)高斯附屬函數(shù)的中央;ij是x?i的第j個(gè)高斯附屬函數(shù)的寬度。第三層:t-范數(shù)層。每個(gè)節(jié)點(diǎn)代表一個(gè)大概的模糊規(guī)矩的if-部門,也代表一個(gè)rbf單位,該層節(jié)點(diǎn)個(gè)數(shù)反響了模糊規(guī)矩?cái)?shù)。假設(shè)盤算每個(gè)規(guī)矩觸發(fā)權(quán)的t-范數(shù)算子是乘法,那么在第三層中第j條規(guī)矩r?j的輸出為?j=exp(-?ri=1(x?i-ij)?2?2ij);j=1,2,u(2)第四層:輸出層。該層每個(gè)節(jié)點(diǎn)代表一個(gè)輸出變量,

6、該輸出是全部輸入變量的疊加。y(x)=?uj=1?j?j(3)此中:y是網(wǎng)絡(luò)的輸出;?j是then-部門。2sfnn的學(xué)習(xí)算法如前文所述,第三層的每個(gè)節(jié)點(diǎn)代表一個(gè)大概的模糊規(guī)矩的if-部門大概一個(gè)rbf單位。假設(shè)必要辨識(shí)體系的模糊規(guī)矩?cái)?shù),那么不克不及預(yù)先選擇模糊神經(jīng)網(wǎng)絡(luò)的布局。于是,本文提出一種新的學(xué)習(xí)算法,該算法可以主動(dòng)確定體系的模糊規(guī)矩并能到達(dá)體系的特定性能。2.1模糊規(guī)矩的產(chǎn)生準(zhǔn)那么在模糊神經(jīng)網(wǎng)絡(luò)中,假設(shè)模糊規(guī)矩?cái)?shù)太多,不但增長體系的龐大性,而且增長盤算包袱和低落網(wǎng)絡(luò)的泛化本領(lǐng);假設(shè)規(guī)矩?cái)?shù)太少,體系將不克不及完全包羅輸入/輸出狀態(tài)空間,將低落網(wǎng)絡(luò)的性能。是否參加新的模糊規(guī)矩取決于體系偏向

7、、可包容界限和偏向落落率三個(gè)緊張因素。偏向判據(jù):對(duì)付第i個(gè)不雅測(cè)數(shù)據(jù)(x?i,t?i),此中x?i是輸入向量,t?i是盼望輸出,由式(3)盤算網(wǎng)絡(luò)現(xiàn)有布局的全部輸出y?i。界說:e?i=t?i-y?i;i=1,2,n(4)假設(shè)e?ik?ek?e=axeax?i,ein(5)那么說明網(wǎng)絡(luò)現(xiàn)有布局的性能比力差,要思量增長一條新的規(guī)矩;不然,不天生新規(guī)矩。此中:k?e是根據(jù)網(wǎng)絡(luò)盼望的精度預(yù)先選擇的值;eax是預(yù)界說的最大偏向;ein是盼望的輸出精度;(01)是收斂因子。從某種意義上來講,模糊神經(jīng)網(wǎng)絡(luò)布局的學(xué)習(xí)是對(duì)輸入空間的高效分別。模糊神經(jīng)網(wǎng)絡(luò)的性能和布局與輸入附屬函數(shù)精細(xì)相干。本文利用的是高斯附屬

8、函數(shù),高斯函數(shù)輸出隨著與中央間隔的增長而單調(diào)遞減。當(dāng)輸入變量接納高斯附屬函數(shù)時(shí),那么以為整個(gè)輸入空間由一系列高斯附屬函數(shù)所分別。假設(shè)某個(gè)新樣本位于某個(gè)已存在的高斯附屬函數(shù)覆蓋范疇內(nèi),那么該新樣本可以用已存在的高斯附屬函數(shù)表現(xiàn),不必要網(wǎng)絡(luò)天生新的高斯單位?？砂萁缦?對(duì)付第i個(gè)不雅測(cè)數(shù)據(jù)(x?i,t?i),盤算第i個(gè)輸入值x?i與已有rbf單位的中央?j之間的間隔d?i(j),即d?i(j)=x?i-?j;i=1,2,n;j=1,2,u(6)此中:u是現(xiàn)有的模糊規(guī)矩或rbf單位的數(shù)目。令di,in=argin(d?i(j)(7)假設(shè)di,ink?d,k?d=axdax?i,din(8)那么說明已

9、存在的輸入附屬函數(shù)不克不及有用地分別輸入空間。因此,必要增長一條新的模糊規(guī)矩,不然,不雅測(cè)數(shù)據(jù)可以由已存在的間隔它比來的rbf單位表現(xiàn)。此中:k?d是可包容界限的有用半徑;dax是輸入空間的最大長度;din是所體貼的最小長度;(01)是衰減因子。傳統(tǒng)的學(xué)習(xí)算法把偏向淘汰率(err)5用于網(wǎng)絡(luò)生長后的修剪歷程,算法會(huì)由于修剪歷程而增長盤算包袱,低落學(xué)習(xí)速率。本文把偏向淘汰率用于生長歷程形成一種新的生長準(zhǔn)那么,算法無須顛末修剪歷程,從而加快網(wǎng)絡(luò)的學(xué)習(xí)歷程。給定n個(gè)輸入/輸出數(shù)據(jù)對(duì)(x?i,t?i),t=1,2,n,把式(3)看做線性回歸模子的一種特別環(huán)境,該線性回歸模子為t(i)=?uj=1h?j

10、(i)?j+(i)(9)式(9)可簡寫為d=h+e(10)d=t?tr?n是盼望輸出,h=?tr?nu是回歸量,=?tr?u是權(quán)值向量,而且假設(shè)er?n是與回歸量不相干的偏向向量。對(duì)付矩陣,假設(shè)它的行數(shù)大于列數(shù),通過qr剖析:h=pq(11)可把h變更成一組正交基向量集p=p?1,p?2,p?ur?nu,其維數(shù)與h的維數(shù)雷同,各列向量組成正交基,qr?uu是一個(gè)上三角矩陣。通過這一變更,有大概從每一基向量盤算每一個(gè)重量對(duì)盼望輸出能量的孝敬。把式(11)代入式(10)?可得d=pq+e=pg+e(12)g的線性最小二乘解為g=(p?tp)?-1p?td,或g?k=p?t?kdp?t?kp?k;k

11、=1,2,u(13)q和滿意下面的方程:q=g(14)當(dāng)kl時(shí),p?k和p?l正交,d的平方和由式(15)給出:d?td=?uk=1g?2?kp?t?kp?k+e?te(15)去掉均值后,d的方差由式(16)給出:n?-1d?td=n?-1?uk=1g?2?kp?t?kp?k+n?-1e?te(16)由式(16)可以看到,n?-1?uk=1g?2?kp?t?kp?k是由回歸量p?k所造成的盼望輸出方差的一部門。因此,p?k的偏向落落率可以界說如下:err?k=g?2?kp?t?kp?kd?td,1ku(17)把式(13)代入式(17)可得err?k=(p?t?kd)?2p?t?kp?kd?td

12、,1ku(18)式(18)為探求緊張回歸量子集提供了一種簡樸而有用的要領(lǐng),其意義在于err?k展現(xiàn)了p?k和d的相似性。err?k值越大,表現(xiàn)p?k和d的相似度越大,且p?k對(duì)付輸出影響越明顯。利用err界說泛化因子(gf),gf可以查驗(yàn)算法的泛化本領(lǐng),并進(jìn)一步簡化和加快學(xué)習(xí)歷程。界說:gf=?uk=1err?k(19)假設(shè)gf2.2參數(shù)調(diào)解必要留意的是,不管是新天生的隱節(jié)點(diǎn)照舊已存在的隱節(jié)點(diǎn),都必要對(duì)網(wǎng)絡(luò)參數(shù)舉行調(diào)解。傳統(tǒng)的要領(lǐng)是利用lls10要領(lǐng)對(duì)網(wǎng)絡(luò)參數(shù)舉行調(diào)解,本文提出利用ekf要領(lǐng)調(diào)治網(wǎng)絡(luò)的參數(shù)。由于lls要領(lǐng)在確定最優(yōu)參數(shù)時(shí)盤算簡樸、速率快,但該要領(lǐng)對(duì)噪聲敏感,其學(xué)習(xí)速率隨著信噪比

13、的增長而落落。別的,與lls要領(lǐng)相干的題目是其求解大概是病態(tài)的,這使得參數(shù)預(yù)計(jì)變得很困難。ekf要領(lǐng)由于其自順應(yīng)歷程比力龐大,盤算速率沒有l(wèi)ls要領(lǐng)快,但是ekf要領(lǐng)在噪聲環(huán)境下具有魯棒性,利用ekf要領(lǐng)可以實(shí)現(xiàn)一種結(jié)實(shí)的在線學(xué)習(xí)算法。網(wǎng)絡(luò)參數(shù)可以用下面的ekf11要領(lǐng)舉行調(diào)解。終究上,網(wǎng)絡(luò)的參數(shù)向量可以看做一個(gè)非線性體系的狀態(tài),并用下面的方程形貌:?i=i-1t?i=h(i-1,x?i)+e?i(20)在當(dāng)前的預(yù)計(jì)值i-1處將非線性函數(shù)h(i-1,x?i)睜開,那么狀態(tài)模子可以重寫為?i=i-1t?i=h?ii-1+?i+e?i(21)此中:?i=h(i-1,x?i)-h?ii-1+?i。h

14、?i是如下的梯度向量:h?i=?h(,x?i)?|=i-1(22)參數(shù)向量利用下面的擴(kuò)展卡爾曼濾波算法更新:k?i=pi-1h?t?ih?ipi-1h?t?i+r?i?-1?i=i-1+k?i(t?i-h(i-1,x?i)p?i=pi-1-k?ih?ipi-1+q?i(23)此中:k?i是卡爾曼增益矩陣;p?i是迫近偏向方差陣;r?i是量測(cè)噪聲方差陣;q?i是歷程噪聲方差陣。全局?jǐn)U展卡爾曼濾波算法會(huì)涉及大型矩陣運(yùn)算,增長盤算包袱,因此可以將全局題目分別為一系列子題目從而簡化全局要領(lǐng)。網(wǎng)絡(luò)的前件部門具有非線性特性,利用擴(kuò)展卡爾曼濾波算法對(duì)其舉行調(diào)解;網(wǎng)絡(luò)的后件部門具有線性特性,利用卡爾曼濾波算法

15、對(duì)其舉行調(diào)解,該要領(lǐng)等同于將全局要領(lǐng)簡化為一系列解耦要領(lǐng),可以低落盤算包袱。由于高斯函數(shù)的中央對(duì)體系的性能影響不顯著,為了簡化盤算,只對(duì)高斯附屬函數(shù)的寬度舉行調(diào)解。前件參數(shù)利用如下的擴(kuò)展卡爾曼濾波算法更新:k?i=p?i-1g?t?ir?i+g?ip?i-1g?t?i?-1?i=i-1+k?i(t?i-i-1?i)p?i=p?i-1-k?ig?ip?i-1+q?i(24)后件參數(shù)利用如下的卡爾曼濾波算法更新:k?i=p?i-1?t?ir?i+?ip?i-1?t?i?-1?i=i-1+k?i(t?i-i-1?i)p?i=p?i-1-k?i?ip?i-1+q?i(25)2.3模糊規(guī)矩的增長歷程在s

16、fnn學(xué)習(xí)算法中,模糊規(guī)矩增長歷程如下:a)初始參數(shù)分派。當(dāng)?shù)玫降谝粋€(gè)不雅測(cè)數(shù)據(jù)(x?1,t?1)時(shí),此時(shí)的網(wǎng)絡(luò)還沒有創(chuàng)立起來,因此這個(gè)數(shù)據(jù)將被選為第一條模糊規(guī)矩:?0=x?0,?1=?0,?1=t?1。此中?0是預(yù)先設(shè)定的常數(shù)。b)生長歷程。當(dāng)?shù)玫降趇個(gè)不雅測(cè)數(shù)據(jù)(x?i,t?i)時(shí),假設(shè)在第三層中已存在u個(gè)隱含神經(jīng)元,根據(jù)式(4)(7)和(19),別離盤算e?i、di,in、gf。假設(shè)e?ik?e,di,ink?d,且gf那么增長一個(gè)新的隱含神經(jīng)元。此中k?e、k?d別離在式(5)和(8)中給出。新增長的隱含神經(jīng)元的中央、寬度和權(quán)值賦值為:u+1=x?i,u+1=k?0di,in,u+1=

17、e?i,此中k?0(k?01)是重疊?因子。)參數(shù)調(diào)解。當(dāng)增長新神經(jīng)元后,全部已有神經(jīng)元的參數(shù)通過式(24)(25)形貌的算法調(diào)解。3仿真研究時(shí)間序列猜測(cè)在辦理很多現(xiàn)實(shí)題目中黑白常緊張的。它在經(jīng)濟(jì)猜測(cè)、信號(hào)處置懲罰等很多范疇都得到了普及應(yīng)用。本文接納的時(shí)間序列由akey-glass差分耽誤方程產(chǎn)生,其方程界說為5x(t+1)=(1-a)x(t)+bx(t-)1+x?10(t-)(27)為了可以或許與文獻(xiàn)5,6在雷同的底子上舉行比力,取值?t=p=6,式(27)中的參數(shù)選擇為:a=0.1,b=0.2,=17。猜測(cè)模子表現(xiàn)為x(t+6)=fx(t),x(t-6),x(t-12),x(t-18)(2

18、8)為了得到時(shí)間序列,利用式(27)天生2000個(gè)數(shù)據(jù),式(27)的初始條件為:x(0)=1.2。為了練習(xí)和測(cè)試,在t=124和t=?1123之間選擇1000個(gè)樣本作為式(28)的輸入/輸出樣本數(shù)據(jù)。利用前500個(gè)數(shù)據(jù)對(duì)作為練習(xí)數(shù)據(jù)集,反面的500個(gè)數(shù)據(jù)對(duì)驗(yàn)證該模子的猜測(cè)性能。圖2表現(xiàn)了sfnn天生的模糊規(guī)矩?cái)?shù);圖3表現(xiàn)了從t=124到t=623的練習(xí)效果;圖4表現(xiàn)了sfnn精良的猜測(cè)性能。表1列出了sfnn與其他算法的比力效果。表1表現(xiàn),與ls、rbf-afs算法比擬,sfnn具有最少的規(guī)矩?cái)?shù)、最小的偏向和精良的泛化本領(lǐng),同時(shí)具有快速的學(xué)習(xí)速率。sfnn的快速性就在于:接納無須修剪歷程的生長

19、準(zhǔn)那么,加快了網(wǎng)絡(luò)學(xué)習(xí)歷程;利用擴(kuò)展卡爾曼濾波調(diào)解網(wǎng)絡(luò)的參數(shù),可以收縮網(wǎng)絡(luò)的學(xué)習(xí)周期。從上面的闡發(fā)可以看出,sfnn具有緊湊的布局、快速的學(xué)習(xí)速率、精良的迫近精度和泛化本領(lǐng)。4竣事語sfnn接納在線學(xué)習(xí)要領(lǐng)、參數(shù)預(yù)計(jì)和布局辨識(shí)同時(shí)舉行,進(jìn)步了網(wǎng)絡(luò)的學(xué)習(xí)速率?；谠撘I(lǐng)天生的模糊神經(jīng)網(wǎng)絡(luò)具有緊湊的布局,網(wǎng)絡(luò)布局不會(huì)連續(xù)增長,制止了過擬合及過練習(xí)征象,確保了體系的泛化本領(lǐng)。參考文獻(xiàn):1huanghuan,ung-xin.apprxiatinapabilitiesfultilayerfuzzyneuralnetrksnthesetffuzzy-valuedfuntinsj.infratinsiene

20、s,2022,179(16):2762-2773.2dengxing-sheng,angxin-zhu.inreentallearningfdynaifuzzyneuralnetrksfrauratesystedelingj.fuzzysetsandsystes,2022,160(7):972-987.3韋玉科,汪仁煌,李江平,等.一種新的數(shù)據(jù)智能化處置懲罰算法j.盤算機(jī)應(yīng)用研究,2022,25(5):1328-1329.4hensheng,hngxia,lukbl,etal.rthgnal-least-squaresregressin:aunifiedapprahfrdatadelingj.neurpu-?ting,2022,72(10-12):2670-2681.?5hens,anfn,grantp.rthgnalleastsquareslearningalgrithfrradialbasisfuntinnetrksj.ieeetransnneuralnetrks,1991,2(2):302-309.6hkb,angbh.radialbasisfuntinbasedadaptiv