1、自建型模糊類神經(jīng)通道等化器翁萬德* 林瑞昌* 薛仲達(dá)* 黃嘉俊* 國立雲(yún)林科技大學(xué)電機(jī)研究所雲(yún)林縣斗六市大學(xué)路三段123號* 南開技術(shù)學(xué)院電子工程系E-mail: .twTEL:05-5342601轉(zhuǎn) 42576摘要 目前應(yīng)用在通道等化器上的系統(tǒng)架構(gòu)非常多，其中大部分的架構(gòu)都是已定的，無法自我延長，進(jìn)而達(dá)到更進(jìn)一步的完美境界，在各方學(xué)者相競提出新的架構(gòu)及演算法下，其中本文將”自建型模糊類神經(jīng)網(wǎng)路”(Self-Constructing Fuzzy Neural Network，SCFNN)(圖一)與”倒傳遞演算法” (Back Propagation，BP)結(jié)合

2、在一起，利用SCFNN其自我建構(gòu)與模糊分類的特性與BP的回授檢驗特性在訓(xùn)練的過程中可在失真的信號中尋找出一定的規(guī)則性與不斷的修改參數(shù)值再加以細(xì)緻化分類以達(dá)到信號恢復(fù)能力的提昇，此乃本文的目標(biāo)。一、簡介在通道中傳送數(shù)位信號，難以避免會遭受到雜訊的干擾及產(chǎn)生符際干擾(ISI)，或是信號能量在傳送過程中衰減，使接收端收到的是失真的信號，因此我們必須在接收端補(bǔ)償收到的信號，希望失真的信號能恢復(fù)正確。過去以線性通道等化器解決此類問題，慢慢的通道環(huán)境日趨複雜，線性通道等化器難以恢復(fù)嚴(yán)重的非線性失真信號。1經(jīng)過學(xué)習(xí)的類神經(jīng)網(wǎng)路可以在輸入信號與輸出信號間行成複雜的決策邊界(Decision boundary)

3、，所具有的複雜映對（mapping）能力能解決非線性或高度非線性分類問題，所以以類神經(jīng)網(wǎng)路解決通道非線性失真的問題是合適的2。目前等化器所使用的類神經(jīng)網(wǎng)路，從結(jié)構(gòu)上來區(qū)分以Multi-Layer Perceptron、Radial Basis Function Networks、Recurrent Neural Network較為常見，在學(xué)習(xí)演算法方面Back propagation 、Stochastic gradient、Hebbian learning rule 是大家較熟悉的方法 3-8 。在複數(shù)類神經(jīng)網(wǎng)路方面，Chen et al.5,9證實多階層神經(jīng)元等化器可以產(chǎn)生複數(shù)非線性隔離曲

4、線亦即等化高度非線性通道上述這些類神經(jīng)網(wǎng)路都是訓(xùn)練架構(gòu)已定之類神經(jīng)網(wǎng)路，訓(xùn)練期間調(diào)整其前後層間鏈結(jié)權(quán)重（Link weight）或神經(jīng)元的偏權(quán)值（Bias）或同一層間神經(jīng)元的鏈結(jié)權(quán)重，經(jīng)過數(shù)個甚至於上萬次學(xué)習(xí)循環(huán)網(wǎng)路收斂後，才是一個可以工作的類神經(jīng)網(wǎng)路。Faa-Jeng Lin等提出自建型模糊類神經(jīng)網(wǎng)路(Self-Constructing Fuzzy Neural Network，SCFNN)並實現(xiàn)於永久磁鐵式同步馬達(dá)速度控制10。本文將SCFNN加上Hard decision之後應(yīng)用在有ISI效應(yīng)、非線性與雜訊的通道失真後衰敗信號重建，我們?nèi)ツMISI，非線性、與雜訊通道不同組合模型，經(jīng)過一

5、再測試，SCFNN所建出來的類神經(jīng)網(wǎng)路系統(tǒng)，有很好的信號恢復(fù)能力且硬體需求簡單。以目前等化器所使用的類神經(jīng)系統(tǒng)架構(gòu)來說，Multi-Layer Perceptron結(jié)構(gòu)(圖二)算是信號恢復(fù)程度相當(dāng)高的一種 ,因此本文決定已Multi-Layer Perceptron為比照對象,來驗證SCFNN在信號恢復(fù)上能否比MLP更為強(qiáng)健。二、數(shù)位傳輸系統(tǒng)具有等化器的數(shù)位通信系統(tǒng)如(圖三)所示，在時間KT時傳送的信號t(k)，k=0、1、2表示原始數(shù)位序列，假設(shè)其具有統(tǒng)計獨立與機(jī)率相等的特性，其中1/T代表符號率，通道(Channel)表示信號行經(jīng)路線特性，一個被廣泛使用的線性分散通道模型是有限長度脈衝響應(yīng)

6、(Finite Impulse Response, FIR)模型，在時間kT時通道的輸出a(k)可表示為 h(i),i=0nh-1為通道的脈衝響應(yīng)而nh是FIR通道的長度。傳送設(shè)備的電子元件可能會引起信號產(chǎn)生非線性失真，a(k)經(jīng)NL後的輸出b(k)可表示為()表示NL產(chǎn)生的非線性函數(shù)。通道也可能受具有變異數(shù)2平均值為0的白色高斯雜訊影響，所以當(dāng)我們考慮白色高斯雜訊時，等化器收到的信號r(k)=b(k)+q(k)，q(k)即代表白色高斯雜訊，y*(k)是經(jīng)等化器補(bǔ)償後的輸出，y*(k)與正確信號y(k)比較產(chǎn)生一個誤差信號e(k)=y(k)-y*(k)，若所有訓(xùn)練數(shù)位序列的e(k)均方根值超出

7、可容許的誤差範(fàn)圍，則持續(xù)訓(xùn)練修正等化器的參數(shù)，直至e(k)均方根值在許可範(fàn)圍之內(nèi)為止。在本研究中所採用的通道模型有以下三種，其轉(zhuǎn)移函數(shù)分別表示如下：CH=1因具單位脈衝響應(yīng)所以相當(dāng)於是一個沒有任何ISI的通道，CH=2相當(dāng)於是一個不具最小相通道。CH=3表示目前的位元受後續(xù)兩個位元影響的通道。 ISI效應(yīng)產(chǎn)生主要是因為資料在高速傳輸時需要相當(dāng)高的符元速率，然而在多重傳輸環(huán)境中，由於時間的不準(zhǔn)確性，頻寬不足，振幅失真，相位失真，而受到嚴(yán)重的”相鄰符元互相干擾”如(圖四) 所示 。為了處理由ISI所引起的有限頻寬通道，首先必須要有此ISI之離散時間模型。如(圖五)所示為有ISI之通道離散時間截線濾

8、波器(transversal filter)模型，其跳階增益為，時間區(qū)間為2LT，其輸入信號為，輸出信號為，雜訊信號為 在本研究中採用的非線性現(xiàn)象有以下四種：NL=0相當(dāng)於一個線性通道模型，NL=1相當(dāng)於是傳輸系統(tǒng)放大器飽和的非線性通道，NL=2與NL=3則是兩個任意非線性通道。本研究中模擬各種通道模型、非線性模型、訊號雜訊強(qiáng)度比（SNR=8-18，間隔2）不同組合條件下SCFNN所建出來的結(jié)構(gòu)與與信號恢復(fù)情形。三、自建型模糊類神經(jīng)網(wǎng)路應(yīng)用在通道等化器 自建型模糊類神經(jīng)網(wǎng)路系統(tǒng) 10，運(yùn)作之始就是三個輸入節(jié)點與一個輸出節(jié)點，隨著訓(xùn)練動作的進(jìn)行逐步加入第二層歸屬函數(shù)(Membership Fun

9、ction)節(jié)點與第三層乘積運(yùn)作節(jié)點，並逐步調(diào)整第二層每一個高斯型歸屬函數(shù)的平均值（Mean）mji 、標(biāo)準(zhǔn)差（Deviation）ji與第三層、輸出節(jié)點間的鏈結(jié)權(quán)重（Link weight）j直至所有訓(xùn)練樣本的推論輸出值與期望輸出值差的均方根值收斂為止。訓(xùn)練週期視訓(xùn)練樣本的複雜度而異，可能需數(shù)個至數(shù)十個訓(xùn)練週期，所謂一個訓(xùn)練週期表示所有的訓(xùn)練樣本執(zhí)行過一次。我們逐步說明自建型模糊類神經(jīng)網(wǎng)路推論輸出值的計算過程與學(xué)習(xí)方法，訓(xùn)練樣本逐筆進(jìn)入自建型模糊類神經(jīng)網(wǎng)路，經(jīng)過逐層運(yùn)算得到一個推論輸出值。以下是各層的計算過程。Layer 1：此層是輸入節(jié)點，序列r(k)、r(k-1)、r(k-2)透過此節(jié)點

10、傳到下一層，沒有計算動作。其中 r(k)：非線性模型輸出加上白色高斯雜訊後的數(shù)位序列；r(k-1)：較r(k)延遲1個位元的數(shù)位序列；r(k-2)：較r(k)延遲2個位元的數(shù)位序列。Layer 2：此層的每一節(jié)點相當(dāng)於是第一層輸入變數(shù)的語意項(Linguistic label)，亦即算出輸入變數(shù)i屬於此歸屬函數(shù)的程度Aji，本研究中採用高斯函數(shù)做為歸屬函數(shù)(Membership Function)，mji：信號r（k-i）對第j個歸屬函數(shù)的中點（mean）。ji：信號r（k-i）對第j個歸屬函數(shù)的標(biāo)準(zhǔn)差（standard deviation）。Layer 3：此層的每一節(jié)點表示模糊規(guī)則的命題部

11、(Precondition part)，其函數(shù)是 亦即第二層三個輸入歸屬函數(shù)群中第j個歸數(shù)函數(shù)值進(jìn)入此節(jié)點相乘，得一乘積為此層的輸出。Layer 4：此層僅有一個節(jié)點主要的動作是解模糊化（Defuzzify），若以y*表示推論輸出值，則 uj（1<=j<=M）表示第三層的輸出，j (1<=j<=M)表示第三層每一節(jié)點與第四層輸出節(jié)點之間的鏈結(jié)權(quán)重，M是系統(tǒng)學(xué)習(xí)過程中已建立的歸屬函數(shù)數(shù)目。 SCFNN的特色之一是線上學(xué)習(xí)(On- line learning)，SCFNN在初始狀態(tài)僅有n個輸入節(jié)點與一個輸出節(jié)點，經(jīng)由結(jié)構(gòu)學(xué)習(xí)(Structure learning)建立系統(tǒng)，

12、經(jīng)由參數(shù)學(xué)習(xí)(Parameter learning)將系統(tǒng)每個規(guī)則的三個參數(shù)調(diào)到最佳狀態(tài)。開始結(jié)構(gòu)學(xué)習(xí)之後，每一訓(xùn)練樣本進(jìn)入SCFNN輸入節(jié)點，對每一輸入值求每一個歸屬函數(shù)的激發(fā)量，若發(fā)現(xiàn)激發(fā)量的值都小於設(shè)定值，則在第二層為每一個輸入變數(shù)增加一個歸屬函數(shù)，同時第三層增加一個節(jié)點，亦即增加一條規(guī)則，完成結(jié)構(gòu)學(xué)習(xí)後系統(tǒng)可以將輸入變數(shù)的論域(Universe of discourse)做合理的模糊分割(Fuzzy Partition)，當(dāng)然我們希望建立最少的規(guī)則也希望產(chǎn)生最少的模糊集合(Fuzzy Sets)。接著我們說明學(xué)習(xí)過程的參數(shù)學(xué)習(xí)，倒傳遞(Back propagation)演算法是參數(shù)學(xué)習(xí)

13、的主要精神，我們將一筆三位元的資料r(k)、r(k-1)、r(k-2)輸入給自建型模糊類神經(jīng)網(wǎng)路經(jīng)過計算得到一個推論輸出值的同時，也有一個位元的正確輸出值y(k)傳到自建型模糊類神經(jīng)網(wǎng)路以比較兩者的差，進(jìn)而推論出三個要修正參數(shù)（鏈結(jié)權(quán)重j、歸屬函數(shù)的平均值mji與標(biāo)準(zhǔn)差ji）的修正量然後進(jìn)行修正。這個動作在每一筆資料進(jìn)入系統(tǒng)就做一次直至系統(tǒng)學(xué)習(xí)完成，完成學(xué)習(xí)後系統(tǒng)可以工作。我們以求輸出值相反方向說明上述三個參數(shù)修正量的公式。首先定義能量函數(shù)E如下：y：對應(yīng)每一訓(xùn)練樣本的正確輸出值。y*：r(k)、r(k-1)、r(k-2)進(jìn)入系統(tǒng)之後的推論輸出值。Layer 4：鏈結(jié)權(quán)重j變化量及更新方式如下

14、：N：學(xué)習(xí)樣本編號j：第三層節(jié)點編號由（8）式可看出每輸入一筆訓(xùn)練樣本給自建型類神經(jīng)網(wǎng)路得到推論輸出值後，立即計算正確輸出值與推論輸出值差然後進(jìn)行參數(shù)調(diào)整。歸屬函數(shù)的中間值與標(biāo)準(zhǔn)差之變化量公式如下：Layer 3： 上式中m、是參數(shù)，可調(diào)整以得到較佳的結(jié)果。接著實際進(jìn)行高斯型歸屬函數(shù)參數(shù)的調(diào)整，經(jīng)過了結(jié)構(gòu)學(xué)習(xí)與參數(shù)學(xué)習(xí)，系統(tǒng)也收斂，表示這是一個可以工作的自建型模糊類神經(jīng)網(wǎng)路，即可切換進(jìn)入傳輸模式進(jìn)行資訊接收工作。在模擬過程中，我們另外隨機(jī)產(chǎn)生100,000位元+1，-1測試資料，逐筆進(jìn)入系統(tǒng)進(jìn)行運(yùn)算，求推論輸出值並計算位元錯誤率。四、以自建型模糊類神經(jīng)網(wǎng)路為基礎(chǔ)的通道等化器演算法為模擬通道的I

15、SI現(xiàn)象，本研究以r(k)、r(k-1)、r(k-2)三個數(shù)位序列做為自建型模糊類神經(jīng)網(wǎng)路的輸入信號，圖2是本研究之系統(tǒng)結(jié)構(gòu)。以下是本研究的演算法：(1)學(xué)習(xí)部分(a) 若是第一筆資料則分別對n個輸入變數(shù)建立n個高斯型歸屬函數(shù)，以輸入變數(shù)值為高斯函數(shù)中點m，偏離值(Deviation)採固定值。計算3個激發(fā)量(Firing Strength) Aj1、Aj2、Aj3的乘積u1，u1與輸出端間之鏈結(jié)權(quán)重1 (Link Weight)初始時採隨意值。j在本論文中表示圖1第二層每一群歸屬函數(shù)編號，亦是第三層乘積運(yùn)作節(jié)點編號。(b) 第二筆資料起，對已建立之歸屬函數(shù)求出u1、u2、un並找出這中間最大

16、值Umax，將此值與既定值Umin做比較，若小於Umin則建立一個新的規(guī)則，亦即第二層每群增加一個高斯歸屬函數(shù)（歸屬函數(shù)的平均值mji=r(k)、r(k-1)、r(k-2)，標(biāo)準(zhǔn)差ji則採隨機(jī)值，因為後續(xù)尚需調(diào)整），第三層增加一個乘積運(yùn)作節(jié)點，鏈結(jié)權(quán)重值j亦採隨機(jī)值。(c) 計算推論輸出值y*= u11+ u22 +u33 +uMM ，M表示目前歸屬函數(shù)的數(shù)目。(d) 調(diào)整每一個高斯型歸屬函數(shù)中點mij、偏離值(Deviation)ij與鏈結(jié)權(quán)重(Link Weight) j。(e) 計算所有訓(xùn)練樣本之推論輸出值與正確輸出值之均方根值。2. 重覆步驟1-(b)至1-(e)直至所有訓(xùn)練樣本之推論

17、輸出與正確輸出之均方根值收斂至設(shè)定值或訓(xùn)練次數(shù)已達(dá)一定次數(shù)為止。3. 使用另一數(shù)位序列，測試已訓(xùn)練好的自建型類神經(jīng)網(wǎng)路等化器計算其位元錯誤率(Bit Error Rate)。五、模擬結(jié)果我們模擬三種主要的通道模型搭配非線性模型、不同信號雜訊強(qiáng)度比，每一種狀況都以500位元PAM信號+1，-1進(jìn)行20個學(xué)習(xí)循環(huán)的訓(xùn)練，再以100000位元PAM信號+1，-1進(jìn)行測試，紀(jì)錄均方根值收斂曲線、位元錯誤率與SCFNN完成學(xué)習(xí)後的規(guī)則數(shù)。在上一節(jié)曾提到訓(xùn)練樣本進(jìn)入輸入節(jié)點之後，若激發(fā)量小於設(shè)定值，則需建立一個規(guī)則，此最小激發(fā)量我們設(shè)定為0.125。在參數(shù)學(xué)習(xí)過程中，更新鏈結(jié)權(quán)重、高斯函數(shù)平均值與標(biāo)準(zhǔn)差時

18、有三個重要的參數(shù)w 、m、，我們分別設(shè)定為0.025。本文以通道轉(zhuǎn)移函數(shù)為2（以CH=2表示），非線性模型(NL=0-3)與雜訊(SNR=8-18)作為模擬條件。在模擬過程中SCFNN所建立的規(guī)則數(shù)列於<表一>，我們再以CPU時間來評估系統(tǒng)的性能<表二>。 圖六 (a)六(b)是MLP與SCFNN的MSE值、由圖中可看出SCFNN的收斂較為快速，亦即可在較短訓(xùn)練週期下達(dá)到相等程度信號恢復(fù)。圖七(a)七(b)是MLP與SCFNN的位元錯誤率值，本文發(fā)現(xiàn)相對於MLP，我們可看出SCFNN對此四種非線性現(xiàn)象變化較大，亦即SCFNN對不同的非線性現(xiàn)象，展現(xiàn)出其高敏感度。圖七(c

19、)圖七(f) 是SCFNN與MLP 位元錯誤率的比較，我們可以發(fā)現(xiàn)SCFNN的位元錯誤率都在MLP之下，亦即SCFNN的信恢復(fù)能力比較高 表一SCFNN在CH=2、NL=0-3、最小激發(fā)量0.125 經(jīng)500 bit/20cycle訓(xùn)練的最後規(guī)則數(shù) CPU P4-2.2GCHNLFmSNR= 8SNR= 10SNR= 1 2SNR= 14SNR= 16SNR= 18200.125262019141414210.125171610101110220.125191514131112230.125201818131210表二SCFNN在CH=2、NL=0-3、最小激發(fā)量0.125 經(jīng)500 bit/

20、20 cycle 訓(xùn)練所需的時間 CPU P4-2.2GCHNLFmSNR= 8SNR= 10SNR= 1 2SNR= 14SNR= 16SNR= 18200.12555.82838.79739.67228.34429.87530.641210.12535.57832.82922.85921.98521.43721.343220.12540.45432.48430.54626.81323.87526.156230.12539.54636.40634.56327.32825.71920.750六、結(jié)論本研究成功的以自建型模糊類神經(jīng)網(wǎng)路（SCFNN）設(shè)計數(shù)位傳輸系統(tǒng)非線性等化器，在每一種模擬條件組

21、合下，檢視實際數(shù)據(jù)的狀況，證實SCFNN在信號恢復(fù)程度明顯比MLP要好。且其M.S.E.曲線收斂狀況亦相當(dāng)不錯。另外其系統(tǒng)敏感度亦是目前各個架構(gòu)所欠缺的能力，得到可驗證SCFNN結(jié)構(gòu)優(yōu)於目前常用網(wǎng)路結(jié)構(gòu)的數(shù)據(jù)。是目前階段性的完成部分，但SCFNN美中不足的地方就是架構(gòu)稍嫌過大，再進(jìn)一步，為了使硬體成本降低，將結(jié)構(gòu)數(shù)降低乃是必要途徑，本文發(fā)現(xiàn)此結(jié)構(gòu)尚有縮小的空間，在SCFNN結(jié)構(gòu)更為精簡且不失其卓越的復(fù)原能力，乃本文當(dāng)前努力邁進(jìn)的目標(biāo)之一圖一 自建型模糊類神經(jīng)網(wǎng)路應(yīng)用於等化器圖二 倒傳遞類神經(jīng)網(wǎng)路等化器圖三 具有等化器的數(shù)位傳輸系統(tǒng) 圖六(a) MLP-CH=2，NL=0-3，訓(xùn)練期間均 方根值

22、收斂曲線。圖六(b) SCFNN-CH=2,NL=0-3，訓(xùn)練期間均方根值收斂曲線。圖七(a) MLP-CH=2，NL=3-0，位元錯誤率 圖七(b) SCFNN-CH=2，NL=3-0，位元 錯誤率圖七(c) MLP與 SCFNN CH=2，NL=0，位元錯誤率比對。圖七(d) MLP與 SCFNN CH=2，NL=1位元錯誤率比對。圖七(e) MLP與SCFNN CH=2，NL=2位元錯誤率比對。圖七(f) MLP與 SCFNN CH=2，NL=3 位元錯誤率比對。參考文獻(xiàn)1 S. Haykin, Communication Systems, 4th ed., New york: Wile

23、y, 2001.2 C. C. Lee, Fuzzy logic in control system: Fuzzy logic controllerPart I and part II, IEEE Trans. Syst., Man, Cybern., vol. 20, p. 404-36, 1990.3 Jean-pierre Martens, Nico Weymaere, An equalized error back-propagation algorithm for the on-line training of multilayer perceptrons, IEEE Trans.

24、Neural Networks., vol. 13, p. 532-541, MAY 2002.4Azzedine zerguine, Ahmar shafi, and Maamar bettayeb, Multilayer perceptron-based lattice structure, IEEE Trans. Neural Networks., vol. 12, p. 532-545, MAY 2001.5Deng Jianpimg, P. Saratchandran, Communication channel equalization using complex-valued minimal radial basis function neural networks, IEEE Trans. Neural Networks., vol. 13, p. 687-696, MAY 2002.6G. Kechriot