目錄TOC\o"1-2"\h\z\u摘要 第一章語音信號(hào)概述1.1忙語音信號(hào)分離技術(shù)的背景及意義近些年來，混合語音信號(hào)分離成為信號(hào)處理領(lǐng)域的一個(gè)研究熱點(diǎn)。在信號(hào)處理中我們經(jīng)常遇到這樣的問題，如何從一組未知的隨機(jī)信號(hào)經(jīng)過一組混合系統(tǒng)得到的觀測(cè)信號(hào)中恢復(fù)出這些原始信號(hào)，如果重構(gòu)過程中沒有混合系統(tǒng)和原始信號(hào)的先驗(yàn)知識(shí)，我們就城該過程為盲分離。其理論也不斷運(yùn)用到圖像、通訊、醫(yī)學(xué)等領(lǐng)域1.1.1語音產(chǎn)生機(jī)理發(fā)聲器官分為三部分：肺、喉(聲門)和聲道。肺的作用相當(dāng)于一個(gè)動(dòng)力源，將氣流輸送到喉部。喉將來自肺部的氣流調(diào)制為周期脈沖或類似隨機(jī)噪聲的激勵(lì)聲源，并送入聲道。喉在發(fā)聲中的作用是控制聲帶的開啟和閉合，使得氣流形成一系列脈沖，聲帶振動(dòng)的頻率決定了聲音頻率的高低。由聲帶振動(dòng)產(chǎn)生的音統(tǒng)稱為濁音，而不由聲帶振動(dòng)產(chǎn)生的音統(tǒng)稱為清音。聲道包括口腔、鼻腔和咽腔，它們對(duì)聲源的頻譜進(jìn)行整形而產(chǎn)生不同音色的聲音。聲道的諧振頻率稱為共振峰頻率，它與聲道的形狀和大小有關(guān)，每種形狀都有一套共振峰頻率作為其特征，改變聲道的形狀就產(chǎn)生不同的語音，因而，當(dāng)聲道形狀改變時(shí)，語音信號(hào)的頻譜特性就隨之改變。聲源經(jīng)過聲道潤(rùn)色頻譜后，最后從嘴唇或鼻孔或同時(shí)從嘴唇和鼻孔輻射出來，形成可傳播的聲波，被人感知為語音。綜上所述，語音由空氣流經(jīng)過聲門激勵(lì)，經(jīng)由聲道調(diào)制，經(jīng)過嘴輻射出去，完整的語音信號(hào)產(chǎn)生的數(shù)學(xué)模型可以用三個(gè)子模型：激勵(lì)模型、聲道模型和輻射模型的串連來表示。圖1.1語音信號(hào)產(chǎn)生模型1.1.2語音的特性(1)短時(shí)平穩(wěn)性根據(jù)對(duì)語音信號(hào)的研究，語音是一種時(shí)變的、非平穩(wěn)的隨機(jī)過程，但另一方面，由于人類發(fā)聲系統(tǒng)的生理結(jié)構(gòu)的變化速度是有一定限度的，在一段短時(shí)間內(nèi)(10～30ms)人的聲帶和聲道形狀基本穩(wěn)定，并且大部分情況下，激勵(lì)源參數(shù)也是如此，因此可認(rèn)為短時(shí)間內(nèi)語音特征是不變的，語音的短時(shí)性特點(diǎn)是對(duì)語音信號(hào)進(jìn)行分析和處理的基礎(chǔ)。(2)濁音和清音語音分為濁音和清音兩大類，二者從語音產(chǎn)生的機(jī)理上有明顯的差異，前者由周期性脈沖產(chǎn)生，后者由隨機(jī)噪聲產(chǎn)生，因而在特征上也有明顯的區(qū)別。濁音在時(shí)域上呈現(xiàn)出明顯的周期性，在頻域上具有共振峰結(jié)構(gòu)而且能量大部分集中在較低頻段內(nèi)。清音則完全不同，它沒有明顯的時(shí)域和頻域特征，類似于白噪聲。濁音在頻譜上有共振峰結(jié)構(gòu)，能量重要集中在低頻區(qū)(<1000Hz)，清音沒有共振峰結(jié)構(gòu)，能量小且主要集中在高頻段(>1000Hz)。1.2語音信號(hào)的基本特征（1）語音信號(hào)的時(shí)域特征由于說話人在不同時(shí)刻的說話內(nèi)容千變?nèi)f化，而且沒有確定的規(guī)律性，因此語音信號(hào)是時(shí)變的。但由于人類的發(fā)聲器官的變化速率有限，聲道在短時(shí)間內(nèi)(5．500ms)處于平穩(wěn)狀態(tài)，因此語音信號(hào)具有短時(shí)平穩(wěn)性。而這種短時(shí)平穩(wěn)性，也是語音處理中許多理論和算法的必要前提。由于人們?cè)谡f話時(shí)，各個(gè)音節(jié)或單詞之間總會(huì)存在著時(shí)間上的間隔，因此語音信號(hào)在時(shí)域上存在著有音段和無音段。通過有音段和無音段的檢測(cè)，可用去除帶噪語音中平穩(wěn)的噪聲。此外，無音段所占比例越大，語音的稀疏性越好，利用這一特點(diǎn)，產(chǎn)生了許多基于語音稀疏性的增強(qiáng)算法。（2）語音信號(hào)的頻域特征語音信號(hào)的頻譜能量主要集中在300-3400Hz范圍內(nèi)。語音本身由濁音和清音組成，濁音含有語音信號(hào)的大部分能量，其頻譜分布主要集中在低頻段中的基音頻率及其各次諧波上，呈現(xiàn)出明顯的周期性；清音則表現(xiàn)出隨機(jī)性，在頻譜上類似于白噪聲。（3）語音信號(hào)的統(tǒng)計(jì)特征語音信號(hào)可以看作是一個(gè)遍歷性隨機(jī)過程的樣本函數(shù)，其統(tǒng)計(jì)特性可用其幅度的概率密度函數(shù)來描述。對(duì)語音信號(hào)的統(tǒng)計(jì)特性的研究表明，其幅度分布的概率密度函數(shù)可以用兩種近似的表達(dá)式來較好地描述，其中一種是伽馬(Gamma)分布(1-1)式中k是一個(gè)常數(shù)，與標(biāo)準(zhǔn)差仃，有下列關(guān)系(1-2)另一種是拉普拉斯分布(Laplacian)分布(1-3)式中，口是一個(gè)由標(biāo)準(zhǔn)差仃。決定的常數(shù)，即(1-4)相對(duì)說來，伽馬分布對(duì)語音信號(hào)的幅度分布描述更為精確一點(diǎn)，而拉普拉斯分布的函數(shù)形式則更加簡(jiǎn)潔。1.3語音信號(hào)處理的理論基礎(chǔ)進(jìn)行頻譜分析時(shí)，在時(shí)域數(shù)據(jù)進(jìn)行短時(shí)FFT處理之前都要進(jìn)行加窗處理。在FFT處理之后，普通頻譜分析可以進(jìn)行頻域上的濾波處理，從而使頻譜更加平滑。為了得到各種音頻信號(hào)的特技效果，也需要對(duì)各種變聲算法進(jìn)行研究。（1）窗的選擇一般來講，一個(gè)好的窗函數(shù)的標(biāo)準(zhǔn)是：在時(shí)域因?yàn)槭钦Z音波形乘以窗函數(shù)，所以要減小時(shí)間窗兩端的坡度，使窗口邊緣兩端不引起急劇變化而平滑過渡到零，這樣可以使截出的語音波形緩慢降為零，減小語音幀的階段效應(yīng)；在頻域要有較寬的3dB帶寬以及較小的邊帶最大值。另外一方面，不同人的基音周期變化很大，主要集中在70Hz~1000Hz。所以窗一般選擇在10ms~20ms之間。此外，為了避免在加窗時(shí)加入多余的高頻信號(hào)，應(yīng)該使用平滑窗，例如漢明窗。（2）變聲算法的討論語聲可以分為聲帶振動(dòng)的濁音部分、聲帶不振動(dòng)的清音部分以及靜音部分。在這里，我們主要是改變?cè)荚捯舻幕纛l率，以達(dá)到變聲的目的。第一種方法是不修改采樣數(shù)據(jù)，僅改變Fs。這種方法操作非常簡(jiǎn)便。第二種方法是直接乘以一個(gè)余弦函數(shù)，把語音信號(hào)頻段搬移到較高頻段，以達(dá)到變聲的目的。第三種方法是插值以后重新抽樣?；具^程是這樣的：已知當(dāng)前幀幀長(zhǎng)FL（采樣）點(diǎn)，采樣頻率Fs，目標(biāo)變換幀頻率Fs’，則目標(biāo)變換幀幀長(zhǎng)FL’=FL*Fs’/Fs。記Rate=Fs’/Fs，那么FL’=FL*Rate，其中Rate為基頻變化率。變換開始時(shí)，先求得FL和FL’的最小公倍數(shù)AL，再將原音頻幀插值為AL點(diǎn)，最后將插值后的語音段重新抽樣，得到長(zhǎng)FL’點(diǎn)的變聲后的數(shù)據(jù)。三種方法操作起來都還比較簡(jiǎn)單，但為了便于分析時(shí)域、頻域特效，本設(shè)計(jì)選擇了通信中常用的調(diào)制方法，即方案二。（3）Matlab基礎(chǔ)MATLAB是MatrixLaboratory的縮寫，由MathWorks公司于1984年正式推出，內(nèi)核采用C語言編寫。MATLAB是一個(gè)包括數(shù)值計(jì)算，高級(jí)圖形和可視化的集成科技計(jì)算環(huán)境，也是一種高級(jí)程序設(shè)計(jì)語言。靈活的MATLAB語言可使工程師和科學(xué)家簡(jiǎn)練地表達(dá)他們的思想，其強(qiáng)有力的數(shù)值計(jì)算方法和圖形便于測(cè)試和探索新的思想，而集成的計(jì)算環(huán)境便于產(chǎn)生快速的實(shí)時(shí)結(jié)果。MATLAB得到了各個(gè)領(lǐng)域?qū)＜覍W(xué)者的廣泛關(guān)注，其強(qiáng)大的擴(kuò)展功能為用戶提供了強(qiáng)有力的支持；它集數(shù)學(xué)計(jì)算、圖形計(jì)算、語言設(shè)計(jì)和神經(jīng)網(wǎng)絡(luò)等30多個(gè)工具箱于一體，具有極高的編程效率，極大地方便了科學(xué)研究和工程應(yīng)用。語音處理中往往把數(shù)字化的語音信號(hào)表示為一維或二維（對(duì)應(yīng)于雙聲道立體聲數(shù)據(jù)）矩陣，因此基于矩陣運(yùn)算的MATLAB就很自然地應(yīng)用到語音處理領(lǐng)域。MATLAB提供了語音文件的讀寫函數(shù)以及錄音和放音功能，如表1所示，使用時(shí)只需按照函數(shù)的語法規(guī)則正確輸入?yún)?shù)即可。通過這些函數(shù)可以得到語音的采樣頻率、量化精度和通道數(shù)等參數(shù)。同時(shí)，MATLAB提供了語音的和、差等線性運(yùn)算，以及卷積、相關(guān)等非線性運(yùn)算。對(duì)于語音處理中常用到的各種窗函數(shù)，MATLAB也都提供了相應(yīng)的函數(shù)，比如hamming(n)即長(zhǎng)度為n點(diǎn)的漢明窗。MATLAB一個(gè)重要的特點(diǎn)是易擴(kuò)展性。近幾年來，有許多科學(xué)家、數(shù)學(xué)家、工程師等開發(fā)了一些新的、有價(jià)值的應(yīng)用程序，這些應(yīng)用程序都可以被納入MATLAB工具箱。比如voicebox工具箱，其中包含了很多與語音信號(hào)處理相關(guān)的函數(shù)，可以在有關(guān)網(wǎng)站上下載，將其加入到MATLAB的搜索路徑，就可以作為MATLAB的庫函數(shù)來方便地調(diào)用了。 表1與語音輸入輸出相關(guān)的函數(shù)函數(shù)名功能描述wavreadauread讀語音文件wavwriteauwrite寫語音文件soundwavplay放音soundsc歸一化放音soundview可視化語音輸出wavrecord錄音第二章盲分離的基本概念2.1盲分離的數(shù)學(xué)模型盲源分離原理可用如下圖所示的數(shù)學(xué)模型來描述：x(t)n(t)混合系統(tǒng)A+y(t)s(t)x(t)n(t)混合系統(tǒng)A+y(t)s(t)分離系統(tǒng)w圖圖2.1盲源分離原理圖BBS的數(shù)學(xué)模型如圖2-1所示，其中是n維未知源信號(hào)向量，A為未知混合系統(tǒng),是m維的觀測(cè)信號(hào)矢量，它們均是源信號(hào)矢量的組合,并受到噪聲矢量的干擾.盲源分離的目的就是在源信號(hào)s和混合系統(tǒng)A均未知的情況下，僅由觀測(cè)數(shù)據(jù)向量x通過調(diào)整分離系統(tǒng)W，使得輸出y是源信號(hào)s的估計(jì)，即：(2-1)2.2盲源分離的基本方法盲源分離包含了線性瞬時(shí)混合和卷積混合兩種盲源分離問題。解決盲源分離問題的重要方法一獨(dú)立分量分析(IndependentComponentAnalysis，ICA)通常以線性瞬時(shí)混合為模型，而盲解卷積則是一種更為實(shí)際的盲源分離問題，其混合模型是一種卷積混合，線性卷積混合模型比較接近實(shí)際，這是因?yàn)椋?1)實(shí)際中每一個(gè)源信號(hào)不會(huì)同時(shí)到達(dá)所有的傳感器，每一個(gè)傳感器對(duì)不同的源延時(shí)不同，延時(shí)值的大小取決于傳感器與源信號(hào)間的相對(duì)位置以及信號(hào)的傳播速度；(2)源信號(hào)到達(dá)傳感器是經(jīng)過多途傳播的，即多徑效應(yīng)。假設(shè)信號(hào)是線性組合的，則從傳感器觀測(cè)到的信號(hào)是源信號(hào)各種延時(shí)值的線性組合。解決此類問題的盲信號(hào)處理方法就是盲解卷積。特別地，ICA方法也可被用于盲解卷積或盲均衡。此外，盲信號(hào)處理還包括許多重要內(nèi)容，例如非線性BSS或非線性ICA問題、盲多用戶檢測(cè)以及盲波束形成等等。盡管有許多不同的盲源分離算法可用，但它們的原理卻都可以歸納為以下四個(gè)方法如圖2.2：相互獨(dú)立、非高斯、ICA 相互獨(dú)立、非高斯、ICA 時(shí)序結(jié)構(gòu)、線性可預(yù)測(cè)時(shí)頻、譜和空間多樣性非穩(wěn)態(tài)、時(shí)變方差圖圖2.2盲源分離算法種類(1)最普遍的方法就是使用代價(jià)函數(shù)來衡量信號(hào)獨(dú)立性和非高斯性或者稀疏性。當(dāng)假信號(hào)具有統(tǒng)計(jì)獨(dú)立性，且沒有時(shí)間結(jié)構(gòu)時(shí)，高階統(tǒng)計(jì)量方法是求解盲源分離問題的基段(間接或直接的)，這種方法對(duì)多于一個(gè)高斯分布的源信號(hào)不適用。(2)如果源信號(hào)具有時(shí)序結(jié)構(gòu)，則其有非零的時(shí)序相關(guān)數(shù)，從而可以降低對(duì)統(tǒng)計(jì)獨(dú)立性的限制條件，用二階統(tǒng)計(jì)量方法(SOS)就足以估計(jì)混合矩陣和源信號(hào)。這種(SOS)方法不允許分離功率譜形狀相同或i.id(獨(dú)立同分布)的源信號(hào)。(3)第三種方法即采用非平穩(wěn)性(Ns)和二階統(tǒng)計(jì)量(SOS)。由于源信號(hào)主要隨時(shí)間有不同的變化，就可以考慮利用二階非平穩(wěn)性。Matsuoka等人首先考慮了非平穩(wěn)性，并證‘明在盲源分離中可以應(yīng)用簡(jiǎn)單的解相關(guān)技術(shù)。與其他方法相比，基于非平穩(wěn)性信息的方法能夠分離具有相同功率譜形狀的有色高斯源，然而，卻不能夠分離具有相同非平穩(wěn)特性的源信號(hào)。(4)第四種方法運(yùn)用了信號(hào)的不同多樣性，典型的是時(shí)域多樣性、頻域多樣性(譜或時(shí)間相干性”)或者時(shí)頻域多樣性，更一般的，即聯(lián)合空間一時(shí)間一頻率(STF)多樣性。自從BSS和ICA的概念產(chǎn)生以來，人們幾乎是不加區(qū)分地使用這兩個(gè)概念。但是，如果深入研究BSS和ICA的基本原理和作用對(duì)象，兩者之間的區(qū)別和聯(lián)系是顯而易見的。Comon對(duì)ICA給出了較嚴(yán)格的定義：對(duì)于觀測(cè)信號(hào)矢量，存在一個(gè)線性變換，使得觀測(cè)信號(hào)在線性變換下各分量的統(tǒng)計(jì)獨(dú)立性最大化。這一過程稱之為ICA過程。與此對(duì)應(yīng)，可以給出BSS的如下定義：對(duì)于觀測(cè)信號(hào)矢量，存在線性變換w，使得全局矩陣G的各行及各列中只有一個(gè)非零元素(不妨稱之為廣義對(duì)角矩陣)，即G=PD。其中P為置換陣；D為對(duì)角陣，從而實(shí)現(xiàn)信號(hào)分離。ICA的目的是通過線性變換使得觀測(cè)信號(hào)的各個(gè)分量的統(tǒng)計(jì)獨(dú)立性最大化。通常用輸出信號(hào)的互信息、熵等作為統(tǒng)計(jì)獨(dú)立性的量度，如基于信息論的Informax算法、Amari的自然梯度算法等。如果源信號(hào)之間具有統(tǒng)計(jì)獨(dú)立性，那么可以通過ICA實(shí)現(xiàn)信號(hào)的分離。BSS考察的是在什么條件下可以使全局矩陣實(shí)現(xiàn)廣義對(duì)角化，而不去衡量輸出信號(hào)的統(tǒng)計(jì)獨(dú)立性是否達(dá)到最大化。因此BSS并不一定要求源信號(hào)是統(tǒng)計(jì)獨(dú)立的。例如AMUSE、GED算法只要求源信號(hào)具有統(tǒng)計(jì)不相關(guān)性。如果源信號(hào)是統(tǒng)計(jì)獨(dú)立的，那么BSS的輸出信號(hào)也一定是統(tǒng)計(jì)獨(dú)立的，這時(shí)BSS和ICA等價(jià)。從作用對(duì)象看，ICA除了可以用于多源信號(hào)的分離外，還可以用于其它多維數(shù)據(jù)的分析，例如圖像的特征提取、經(jīng)濟(jì)數(shù)據(jù)分析等。而BSS不僅僅局限于瞬時(shí)混合信號(hào)的分離，還包括實(shí)際應(yīng)用中更重要的卷積混合信號(hào)的分離?？梢哉fICA是實(shí)現(xiàn)BSS的一種方法，而BSS是ICA的一個(gè)具體的應(yīng)用。2.3盲分離的目標(biāo)準(zhǔn)則根據(jù)源信號(hào)不同的特征，盲源分離的實(shí)現(xiàn)方法有很多，但它們的原理可以歸納為以下四種準(zhǔn)則：(1)獨(dú)立分量分析(IndependentComponentAnalysis,ICA)：當(dāng)假設(shè)源信號(hào)各分量間彼此統(tǒng)計(jì)獨(dú)立，且沒有時(shí)間結(jié)構(gòu)時(shí)，在某一分離準(zhǔn)則下通過對(duì)神經(jīng)網(wǎng)絡(luò)權(quán)值的反饋調(diào)整，使得變換后信號(hào)的不同分量之間的相依性最小，也即輸出達(dá)到盡可能的獨(dú)立。這種方法對(duì)多于一個(gè)高斯分布的源信號(hào)不適用(因?yàn)楦咚剐盘?hào)的線性疊加仍是高斯信號(hào))，這是近年來盲源分離的主要解決方法。(2)主分量分析(PrincipalComponentAnalysis,PCA)的方法：在盡可能保持原始變量更多信息的前提下，導(dǎo)出一組零均值隨機(jī)變量相對(duì)少的不相關(guān)線性組合（主分量），并由此恢復(fù)出對(duì)源信號(hào)的估計(jì)。(3)二階非平穩(wěn)性：即采用非平穩(wěn)性和二階統(tǒng)計(jì)量。由于源信號(hào)隨時(shí)間有不同的變化，所以可以考慮利用二階非平穩(wěn)性，應(yīng)用簡(jiǎn)單的解相關(guān)技術(shù)實(shí)現(xiàn)盲源分離。與其他方法相比，它能夠分離具有相同功率譜形狀的有色高斯源，然而卻不能分離具有相同非平穩(wěn)特性的源信號(hào)。(4)運(yùn)用信號(hào)的不同多樣性，典型的是時(shí)域多樣性、頻域多樣性或時(shí)頻域多樣性，更一般的，即聯(lián)合空間-時(shí)間-頻率多樣性，如果源信號(hào)具有不同的時(shí)頻域多樣性，信號(hào)的時(shí)頻域特征不完全重疊，那么可以通過屏蔽時(shí)頻域的單個(gè)源信號(hào)或干擾信號(hào)，并從一個(gè)(或多個(gè))傳感器信號(hào)中提取源信號(hào)，然后再在時(shí)頻域中合成，然而這些情況下，通常需要一些源信號(hào)的先驗(yàn)知識(shí)，所以這種分離只能是一種半盲分離。2.4盲分離的研究領(lǐng)域在BSS問題的研究和發(fā)展過程中，基于其不同的應(yīng)用環(huán)境，進(jìn)行了不同角度的擴(kuò)展，形成了不同的研究領(lǐng)域，可以對(duì)BSS的研究領(lǐng)域做如下的分類：依據(jù)信號(hào)混合方式不同，盲信號(hào)的混合方式有瞬態(tài)線性混合、卷積混合、非線性混合等方式，針對(duì)不同的混合方式需要采用不同的分離方法。在瞬態(tài)線性混合方式下，觀測(cè)信號(hào)是原始信號(hào)在相同時(shí)刻的線性疊加，即不同信號(hào)到達(dá)各個(gè)傳感器的時(shí)間差別可以忽略不計(jì)，此時(shí)混合矩陣是實(shí)矩陣，盲分離過程等價(jià)于尋找混合矩陣的逆矩陣過程。如果信道的傳輸延遲等對(duì)觀測(cè)信號(hào)的影響較大，觀測(cè)信號(hào)是原始信號(hào)在過去不同時(shí)刻的線性疊加，則屬于卷積混合方式，此時(shí)的傳遞通道矩陣可以用有限長(zhǎng)沖激響應(yīng)濾波器模型來構(gòu)造，盲解卷過程就需要利用相應(yīng)的解卷濾波器實(shí)現(xiàn)。如果信號(hào)所處的環(huán)境是動(dòng)態(tài)變化的且具有非線性特征，則需要利用非線性特征函數(shù)實(shí)現(xiàn)盲分離。對(duì)信號(hào)的處理角度不同，BSS可在時(shí)域、頻域或時(shí)頻域進(jìn)行研究。時(shí)域盲分離比較直觀，但不能利用信號(hào)的頻譜特征，在瞬態(tài)線性混合情況下應(yīng)用較多；頻域盲分離可以將時(shí)域上的卷積運(yùn)算轉(zhuǎn)化為頻域上的直接乘積形式，從而可以利用時(shí)域盲分離算法解決盲解卷/盲均衡問題，但頻域上的尺度與交互不確定性問題以及較大的計(jì)算量是阻礙信號(hào)進(jìn)行頻域盲分離的主要障礙。利用信號(hào)的時(shí)頻特性進(jìn)行盲分離，可以充分利用時(shí)域和頻域分析的優(yōu)點(diǎn)，其主要困難在于時(shí)頻點(diǎn)的合理選擇。信號(hào)本身的屬性有平穩(wěn)信號(hào)與非平穩(wěn)信號(hào)之分、窄帶信號(hào)與寬帶信號(hào)的差別。平穩(wěn)信號(hào)的盲分離，常需要利用信號(hào)的高階統(tǒng)計(jì)量信息；而對(duì)于非平穩(wěn)信號(hào)，如語音信號(hào)，則利用信號(hào)的二階時(shí)間相關(guān)屬性實(shí)現(xiàn)盲分離；寬帶信號(hào)通常要先分解為多個(gè)窄帶信號(hào)，逐個(gè)進(jìn)行盲分離。根據(jù)源信號(hào)數(shù)目與觀測(cè)信號(hào)數(shù)目的關(guān)系，可分為適定盲分離、超定盲分離、欠定盲分離。當(dāng)前很多算法都是在適定條件下推導(dǎo)得到的，它是指源信號(hào)數(shù)目和觀測(cè)信號(hào)數(shù)目相等的情況；當(dāng)觀測(cè)信號(hào)數(shù)目大于源信號(hào)數(shù)目時(shí)，稱為超定盲分離，超定盲分離通常采用降低觀測(cè)信號(hào)維數(shù)，進(jìn)而進(jìn)行適定條件下盲分離的方法；欠定盲分離，又稱超完備盲分離，是近年來的研究熱點(diǎn)和重點(diǎn)，它是源信號(hào)數(shù)目大于觀測(cè)信號(hào)數(shù)目的情況，這相當(dāng)于信源在經(jīng)過混合信道后，發(fā)生了有損壓縮，因此采用傳統(tǒng)的ICA通過對(duì)混合系統(tǒng)求偽逆的過程已無法恢復(fù)出源信號(hào)，這些丟失的信息只能通過一些先驗(yàn)、假設(shè)或限制條件(如：獨(dú)立性、稀疏性等)進(jìn)行彌補(bǔ)。根據(jù)對(duì)算法的性能要求，盲分離可以分為離線批處理和自適應(yīng)在線處理等方式。離線批處理方式可以利用信號(hào)的各階統(tǒng)計(jì)量信息，通過特征值分解等運(yùn)算獲得盲信號(hào)的分離矩陣，其優(yōu)點(diǎn)是可以充分利用觀測(cè)信號(hào)的樣本數(shù)據(jù)，能夠獲得較為精確的解，缺點(diǎn)是計(jì)算量大，分離時(shí)間長(zhǎng)，且對(duì)信息的存儲(chǔ)空間要求高；而自適應(yīng)的在線處理方式是基于單次觀測(cè)樣本進(jìn)行盲分離系統(tǒng)的更新迭代，計(jì)算量低，適用于實(shí)時(shí)性要求較高的場(chǎng)合，如在線故障診斷等。2.5盲分離的研究?jī)?nèi)容盲源分離的基本框架是根據(jù)某種優(yōu)化準(zhǔn)則，先選出合適的目標(biāo)函數(shù)，然后通過某種優(yōu)化算法來搜索目標(biāo)函數(shù)的極值點(diǎn)，其中優(yōu)化準(zhǔn)則保證了算法實(shí)現(xiàn)的可能性和實(shí)現(xiàn)途徑；具體的目標(biāo)函數(shù)決定了算法的統(tǒng)計(jì)性能，優(yōu)化算法則決定了算法的搜索性能。因此BSS的研究?jī)?nèi)容涉及優(yōu)化準(zhǔn)則及目標(biāo)函數(shù)的確定、信源概率密度函數(shù)(Probabilitydensityfunction,pdf)的估計(jì)、各種優(yōu)化算法、算法的性能評(píng)價(jià)指標(biāo)等多個(gè)方面。(1).優(yōu)化準(zhǔn)則獨(dú)立分量分析(ICA)是目前解決BSS問題的主要方法，而ICA的目的在于確定一非線性變換使得輸出各分量間盡可能的相互獨(dú)立，因此一般采用輸出各分量間的最大化獨(dú)立性作為算法的優(yōu)化準(zhǔn)則。信號(hào)分量間的獨(dú)立性程度可以采用非高斯性、高階統(tǒng)計(jì)量、熵、互信息、概率密度函數(shù)(pdf)以及兩種pdf距離的Kullback-Leibler散度等函數(shù)進(jìn)行度量。(2).信源概率密度函數(shù)的估計(jì)目標(biāo)函數(shù)最優(yōu)解的迭代計(jì)算通常需要知道信源s的概率分布，這顯然不切實(shí)際，所以需要對(duì)輸出矢量的概率密度函數(shù)進(jìn)行估計(jì)。常用的方法有采用級(jí)數(shù)展開的方法對(duì)概率密度函數(shù)進(jìn)行逼近、或通過估計(jì)概率模型中未知參數(shù)的方法估計(jì)概率密度函數(shù)、核函數(shù)法等方法，以及正在興起的結(jié)合神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)理論的支持向量機(jī)（SVM）回歸估計(jì)方法等，本文正是在這個(gè)理論的基礎(chǔ)上對(duì)原有算法提出了新的改進(jìn)，并取得而來良好的效果。(3).優(yōu)化算法及其性能分析根據(jù)算法的迭代和搜索最優(yōu)點(diǎn)的過程是基于單次觀測(cè)樣本還是全部樣本，可以將算法分為在線自適應(yīng)算法和離線批處理算法。評(píng)價(jià)算法性能的指標(biāo)一般有收斂速度、分離精度、局部(全局)穩(wěn)定性、算法的復(fù)雜性以及適用范圍等，常用的具體函數(shù)有系統(tǒng)矩陣的串音誤差、與對(duì)角陣的距離，范數(shù)誤差等。第三章獨(dú)立分量分析的基本算法3.1ICA的線性模型YY3Y2Y1X3X2X1SnS2S1AW圖3.1ICA的線性模型如圖3.1，設(shè)x1,x2,…xn為t為n維隨機(jī)觀測(cè)混合信號(hào)，由m個(gè)未知源信號(hào)(或稱獨(dú)立源)s1,s2,…sm線性組合而成，忽略時(shí)間下標(biāo)t，并假設(shè)每個(gè)混合信號(hào)xi都是一個(gè)隨機(jī)變量，而不是時(shí)間信號(hào)。每個(gè)觀測(cè)值xi(t),為該隨機(jī)變量的一次抽樣。不失一般性，設(shè)混合的隨機(jī)變量和獨(dú)立源都具有零均值。下面用矩陣形式來定義ICA模型。令X=(x1,x2,…xn)T為n維隨機(jī)向量，S=(s1,s2,…sm)T是m維未知源信號(hào)，則ICA的線性模型可表示為：，i=1,2,…m（3-1）式中，si稱為獨(dú)立分量，A=[a1,a2,…am]是一滿秩的n*m矩陣，稱為混合矩陣，ai是混合矩陣的基向量。由方程可知，各觀測(cè)數(shù)據(jù)xi是由獨(dú)立源si經(jīng)過不同的aij線性加權(quán)得到的。獨(dú)立源si是隱含變量，不能被直接測(cè)量；混合矩陣A也是未知矩陣，唯一可利用的信息只剩觀測(cè)的隨機(jī)矢量X。若沒有任何限制條件，要僅由X估計(jì)出S和A，方程的解必為多解。而ICA正是在某些限制條件下，根據(jù)X的統(tǒng)計(jì)特性，給出方程唯一解，實(shí)現(xiàn)獨(dú)立分量的提取。如上所述，ICA的一個(gè)重要基本假設(shè)就是對(duì)未知源信號(hào)獨(dú)立性的要求。針對(duì)ICA具體模型，未知源信號(hào)間相互獨(dú)立即要求：（3-2）在ICA模型中，除了要求源信號(hào)相互獨(dú)立外，還必須滿足非高斯分布的特性。此外為簡(jiǎn)化模型，假設(shè)未知混合矩陣A是方陣，即m=n。那么ICA的目的就是尋找一個(gè)變換矩陣，對(duì)X進(jìn)行線性變換，得n維輸出向量（3-3）當(dāng)允許存在比例不定性和順序不定性的前提下，Y成為對(duì)獨(dú)立分量si的一個(gè)估計(jì).以上，從盲源分離觀點(diǎn)闡述了ICA的模型，下面給出從多維信號(hào)的線性描述觀點(diǎn)論述的ICA模型。設(shè)X=(x1,x2,…,xn)T為n維觀測(cè)數(shù)據(jù)，ICA的目的即尋找一個(gè)坐標(biāo)系統(tǒng)，使得當(dāng)X中各分量x1,x2,…,xn在該坐標(biāo)系下投影時(shí)：，i=1,2,…,n（3-4）投影系數(shù)s1,s2,…,sn相互獨(dú)立。若令Y=WX,在ICA實(shí)現(xiàn)算法中，系統(tǒng)目標(biāo)是尋找一最優(yōu)矩陣W使使出yi相互統(tǒng)計(jì)獨(dú)立，即Y互信息為零?？梢宰C明，此時(shí)為ICA線性描述模型中的坐標(biāo)系統(tǒng)。3.2ICA研究中的主要問題及限制條件1)對(duì)ICA問題的研究有許多方面，但歸納起來主要有以下九個(gè)方面：(1)關(guān)于源信號(hào)不同pdf，如高斯、次高斯pdf的特性描述。給出不同特性pdf隨機(jī)變量的特征參數(shù)：矩(moment)、累積矩(cumulant)和峰起度(kurtosis)。研究解的等價(jià)性，去除二階相關(guān)及去除高階相關(guān)等問題。(2)ICA的目標(biāo)函數(shù)。(3)ICA的學(xué)習(xí)算法。與其他神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法相同，學(xué)習(xí)可取批處理方式(針對(duì)平穩(wěn)環(huán)境)或在線自適應(yīng)方式(針對(duì)在線或平穩(wěn)環(huán)境)。為了求得使目標(biāo)函數(shù)達(dá)到極值的W，所用的算法一般為迭代算法，應(yīng)盡量簡(jiǎn)單、收斂快。(4)ICA算法的穩(wěn)定性。穩(wěn)定性是指ICA迭代計(jì)算中達(dá)到正確源信號(hào)分離的解可能是一個(gè)平衡點(diǎn)而不是穩(wěn)定點(diǎn)。(5)ICA算法實(shí)現(xiàn)的源信號(hào)分離精度，即相鄰源信號(hào)的干擾問題。(6)ICA中源信號(hào)pdf的確定。如果關(guān)于源信號(hào)pdf的先驗(yàn)知識(shí)很少甚至完全沒有時(shí)，必須在學(xué)習(xí)過程中加以確定，否則將進(jìn)行反復(fù)嘗試，可能會(huì)浪費(fèi)大量時(shí)間而且使分離效果不佳。(7)ICA的各種模擬實(shí)驗(yàn)和具體應(yīng)用研究。(8)盲解卷/均衡和多道盲解卷/均衡問題。(9)有噪聲和M≠N的情況下，ICA的問題求解。2)ICA的任務(wù)是根據(jù)觀測(cè)記錄X=AS，在矩陣A未知且對(duì)S除獨(dú)立性外無其它先驗(yàn)知識(shí)的情況下，求解混合矩陣W，使得變換結(jié)果Y=WX中各分量盡可能相互獨(dú)立，且逼近S。從數(shù)學(xué)角度說，該方程的解并不是唯一的，至少會(huì)存在以下一些問題：(1)分離結(jié)果的幅度存在不確定性由于在X=AS中，A和S均未知，如果將S中任一分量Si擴(kuò)大a倍，只需將A中相應(yīng)的混合系數(shù)乘以1/a,上式仍成立。在觀測(cè)信號(hào)幅度不變的前提下，源信號(hào)的幅度存在不確定性。因此，在求解獨(dú)立分量時(shí)，往往事先假設(shè)S具有單位方差，且各分量均值為零。(2)分離結(jié)果的排列存在不確定性由于A和S的未知，公式中獨(dú)立分量的順序很容易調(diào)換。在X=AS中插入一個(gè)置換矩陣P和它的逆矩陣P-1，得到X=AP﹒P-1S,將AP-1看成新的混合矩陣，則PS中的各分量便成為新的已調(diào)換順序的獨(dú)立源si。這表明ICA分離結(jié)果存在排序上的不確定性。但是幅度和排序的不確定性不會(huì)對(duì)ICA算法的分離過程產(chǎn)生影響。3.3ICA的基本算法ICA是在某一判據(jù)意義下進(jìn)行的尋優(yōu)算法，所以問題實(shí)際包含兩個(gè)部分：首先是采用什么判據(jù)作為一組信號(hào)是否接近互相獨(dú)立的準(zhǔn)則(即目標(biāo)函數(shù))；其次是用怎樣的算法來達(dá)到這個(gè)目標(biāo)(即優(yōu)化算法)。ICA算法=目標(biāo)函數(shù)+優(yōu)化算法一般來說，不同的目標(biāo)函數(shù)是由不同的估計(jì)準(zhǔn)則得到得，然后通過恰當(dāng)?shù)膬?yōu)化方法來實(shí)現(xiàn)獨(dú)立分量分析，也就是求出混合矩陣A和獨(dú)立分量S，其中這些優(yōu)化方法大多是基于梯度的方法。為了更清楚的描述實(shí)現(xiàn)獨(dú)立分量分析的方法，假設(shè)由不同的估計(jì)準(zhǔn)則得到的目標(biāo)函數(shù)表示為F(W)且W的第n行表示為wn，則這個(gè)優(yōu)化問題就是(以極大化為例，極小化是與其等價(jià)的)：（3-5）實(shí)際獨(dú)立分量分析的算法主要就是利用最優(yōu)化的思想和技術(shù)。主要包括信息極大化、非高斯性極大化、極大似然估計(jì)和互信息極小化等。3.3.1信息極大化Nadal和Parga發(fā)現(xiàn)在低噪聲的情況下，對(duì)神經(jīng)網(wǎng)絡(luò)的輸入和輸出信號(hào)之間的互信息化暗含了輸出分布是可因式化的。即，非線性神經(jīng)網(wǎng)絡(luò)中的最大化信息變換可以將輸出信號(hào)之間的互信息最小化。Roth、Baram、Bell以及Seinowski分別獨(dú)立的導(dǎo)出了這種最大化方法的隨機(jī)梯度學(xué)習(xí)規(guī)則，并將該規(guī)則分別運(yùn)用到預(yù)測(cè)，時(shí)間序列分析和盲源分析中。Bell和Sqnowslki提出了一種簡(jiǎn)單的前饋神經(jīng)網(wǎng)絡(luò)算法，如下圖所示：能使用信息最大化法對(duì)相互獨(dú)立的源信號(hào)S的線性混合信號(hào)X進(jìn)行分離。他們指出將神經(jīng)處理器輸出信號(hào)的聯(lián)合熵最大化可以將輸出分量yi=g(ui)之間的互信息幾乎降至最小，這里g(ui)是一個(gè)可逆的單調(diào)非線性函數(shù)，且U=WX。神經(jīng)網(wǎng)絡(luò)輸出信號(hào)的聯(lián)合熵是（3-6）這里，H(y1)是輸出信號(hào)的邊緣熵，I(y1,…,yN)是輸出信號(hào)之間的互信息。將H(y1,…,yN)最大化等于將邊緣熵的和H(y1)+…+H(yN)最大化并同時(shí)使I(y1,…,yN)降至最小。輸出信號(hào)Y是振幅有界的隨機(jī)變量，因此，當(dāng)輸出信號(hào)yi服從均勻分布時(shí)H(y1)+…+H(yN)最大。當(dāng)I(y1,…,yN)=0時(shí)，聯(lián)合熵等于邊緣熵的和，即：（3-7）當(dāng)有界隨機(jī)變量的互信息等于0，且他們的邊緣分布為均勻分布時(shí)，可取得最大值。這時(shí)具有源信號(hào)分布的累計(jì)密度函數(shù)形式。Bell和Sejnowski選擇了一個(gè)非線性函數(shù)作為固定邏輯函數(shù)，等于假定所有的源信號(hào)都服從超高斯分布，通過調(diào)整權(quán)矩陣W使聯(lián)合熵最大化，使聯(lián)合熵取得最大值的權(quán)矩陣W就是我們所要求得的。上式兩端對(duì)W求導(dǎo)得：（3-8）其中，是多元均勻分布與其估計(jì)值之間的KL散度。當(dāng)變換函數(shù)和權(quán)矩陣W取得最優(yōu)值時(shí)，聯(lián)合熵取得最大值，且。如果是從到的可逆映射，則因?yàn)镵L散度在可逆變換的情況下是不變的，所以KL散度等于源信號(hào)估計(jì)分布與源信號(hào)分布之間的KL散度，即：=（3-9）如果輸出信號(hào)之間的互信息，則在非線性變換之前的互信息，因?yàn)榉蔷€性變換不產(chǎn)生任何相關(guān)性。與有如下關(guān)系：（3-10）如果服從均勻分布，則有：（3-11）這表示是一個(gè)獨(dú)立的隨機(jī)變量，它的分布近似于一個(gè)非線性函數(shù)的導(dǎo)數(shù)。Bell和Sejnowski用信息最大化法分離了幾個(gè)音樂信號(hào)和語音信號(hào)的混合信號(hào)，不過如果源信號(hào)的概率密度函數(shù)與非線性函數(shù)的斜率不相等，聯(lián)合熵取得最大值時(shí)，互信息。在這樣的情況下，信息最大化法不能將互信息最小化，不過這樣的情況只有在非線性函數(shù)與真實(shí)源信號(hào)的累計(jì)密度函數(shù)很不相同時(shí)才會(huì)發(fā)生。非線性函數(shù)是將互信息最小化的關(guān)鍵。與之間有如下關(guān)系：（3-12）則：兩邊對(duì)W求導(dǎo)得：（3-13）上式第一部分。第二部分.這里是對(duì)數(shù)似然的梯度，(3-14)所以，通用學(xué)習(xí)規(guī)則即：Amari等人提出了一個(gè)高效的學(xué)習(xí)規(guī)則使負(fù)熵最大化：(3-15)這里，改變了梯度比例，簡(jiǎn)化了學(xué)習(xí)規(guī)則并大大的提高了收斂速度。3.3.2負(fù)熵最大化另一種使之間的互信息最笑話的方法是負(fù)熵最大化法。由負(fù)熵定義可得，負(fù)熵的概率密度和高斯分布之間的KL散度，且與有相同的數(shù)學(xué)期望和協(xié)方差。即：(3-16)這里，U是由參數(shù)W給出的源信號(hào)的估計(jì)值。輸出的參數(shù)形式可因式化的。且只有當(dāng)輸出信號(hào)之間相互獨(dú)立，才有，這時(shí)輸出信號(hào)之間的互信息，且假設(shè)之間取出了相關(guān)性，可因式化，但。則有:(3-17)上式還可進(jìn)一步展開成：(3-18),.因?yàn)槲覀兗僭O(shè)之間是去相關(guān)性的，所以它們的協(xié)方差矩陣相同，因而行列式等于1.上式可進(jìn)一步簡(jiǎn)化為：(3-19)可以使用隨機(jī)梯度搜索使負(fù)熵最大化：(3-20)這實(shí)際上導(dǎo)出了與信息最大化相同的學(xué)習(xí)規(guī)則：(3-21)3.3.3最大似然估計(jì)法最大似然估計(jì)(MaxilIlumLikelihoodEstimation，MLE)是將觀測(cè)信號(hào)模式化。在低噪聲情況下，我們使用參數(shù)化概率密度估計(jì)找到參數(shù)向量a，使生成模式與觀測(cè)分布p(x)之間的差別最小。這種差別可以用KL散度來度量：(3-22)這里，是觀測(cè)信號(hào)X的概率密度函數(shù)，是的參數(shù)估計(jì)，只有當(dāng)估計(jì)與相等時(shí)，才等于0.信息最大化法與MLE從ICA的角度來看是相同的。簡(jiǎn)要推導(dǎo)如下：對(duì)似然估計(jì)取對(duì)數(shù)并歸一化得：(3-23)這里，N是X樣本的個(gè)數(shù)，根據(jù)大數(shù)定理，對(duì)數(shù)似然概率收斂于它的數(shù)學(xué)期望。(3-24)因?yàn)榕cW無關(guān)，所以最大化對(duì)數(shù)似然可將與的KL散度最小化，即：(3-25)因?yàn)锳是可逆矩陣，且KL散度在可逆變換下是不變的，所以最小化式中的KL散度等價(jià)與最小化源估計(jì)信號(hào)與真實(shí)源信號(hào)之間的散度。(3-26)3.4FastICA算法原理獨(dú)立分量分析（ICA）的過程如下圖所示：在信源中各分量相互獨(dú)立的假設(shè)下，由觀察通過解混系統(tǒng)把他們分離開來，使輸出逼近。圖3.3ICA的一般過程ICA算法的研究可分為基于信息論準(zhǔn)則的迭代估計(jì)方法和基于統(tǒng)計(jì)學(xué)的代數(shù)方法兩大類，從原理上來說，它們都是利用了源信號(hào)的獨(dú)立性和非高斯性?；谛畔⒄摰姆椒ㄑ芯恐校鲊鴮W(xué)者從最大熵、最小互信息、最大似然和負(fù)熵最大化等角度提出了一系列估計(jì)算法。如FastICA算法,Infomax算法，最大似然估計(jì)算法等。基于統(tǒng)計(jì)學(xué)的方法主要有二階累積量、四階累積量等高階累積量方法。本次課設(shè)主要討論FastICA算法。3.4.1數(shù)據(jù)的預(yù)處理一般情況下，所獲得的數(shù)據(jù)都具有相關(guān)性，所以通常都要求對(duì)數(shù)據(jù)進(jìn)行初步的白化或球化處理，因?yàn)榘谆幚砜扇コ饔^測(cè)信號(hào)之間的相關(guān)性，從而簡(jiǎn)化了后續(xù)獨(dú)立分量的提取過程，而且，通常情況下，數(shù)據(jù)進(jìn)行白化處理與不對(duì)數(shù)據(jù)進(jìn)行白化處理相比，算法的收斂性較好。 若一零均值的隨機(jī)向量滿足，其中：為單位矩陣，我們稱這個(gè)向量為白化向量。白化的本質(zhì)在于去相關(guān)，這同主分量分析的目標(biāo)是一樣的。在ICA中，對(duì)于為零均值的獨(dú)立源信號(hào)，有：，且協(xié)方差矩陣是單位陣，因此，源信號(hào)是白色的。對(duì)觀測(cè)信號(hào)，我們應(yīng)該尋找一個(gè)線性變換，使投影到新的子空間后變成白化向量，即：（3-27）其中，為白化矩陣，為白化向量。利用主分量分析，我們通過計(jì)算樣本向量得到一個(gè)變換其中和分別代表協(xié)方差矩陣的特征向量矩陣和特征值矩陣?？梢宰C明，線性變換滿足白化變換的要求。通過正交變換，可以保證。因此，協(xié)方差矩陣：（3-28）再將式代入，且令,有（3-29） 由于線性變換連接的是兩個(gè)白色隨機(jī)矢量和，可以得出一定是一個(gè)正交變換。如果把上式中的看作新的觀測(cè)信號(hào)，那么可以說，白化使原來的混合矩陣簡(jiǎn)化成一個(gè)新的正交矩陣。證明也是簡(jiǎn)單的：（3-30）其實(shí)正交變換相當(dāng)于對(duì)多維矢量所在的坐標(biāo)系進(jìn)行一個(gè)旋轉(zhuǎn)。 在多維情況下，混合矩陣是的，白化后新的混合矩陣由于是正交矩陣，其自由度降為，所以說白化使得ICA問題的工作量幾乎減少了一半。 白化這種常規(guī)的方法作為ICA的預(yù)處理可以有效地降低問題的復(fù)雜度，而且算法簡(jiǎn)單，用傳統(tǒng)的PCA就可完成。用PCA對(duì)觀測(cè)信號(hào)進(jìn)行白化的預(yù)處理使得原來所求的解混合矩陣退化成一個(gè)正交陣，減少了ICA的工作量。此外，PCA本身具有降維功能，當(dāng)觀測(cè)信號(hào)的個(gè)數(shù)大于源信號(hào)個(gè)數(shù)時(shí)，經(jīng)過白化可以自動(dòng)將觀測(cè)信號(hào)數(shù)目降到與源信號(hào)維數(shù)相同。3.4.2FastICA算法FastICA算法，又稱固定點(diǎn)(Fixed-Point)算法，是由芬蘭赫爾辛基大學(xué)Hyv?rinen等人提出來的。是一種快速尋優(yōu)迭代算法，與普通的神經(jīng)網(wǎng)絡(luò)算法不同的是這種算法采用了批處理的方式，即在每一步迭代中有大量的樣本數(shù)據(jù)參與運(yùn)算。但是從分布式并行處理的觀點(diǎn)看該算法仍可稱之為是一種神經(jīng)網(wǎng)絡(luò)算法。FastICA算法有基于峭度、基于似然最大、基于負(fù)熵最大等形式，這里，我們介紹基于負(fù)熵最大的FastICA算法。它以負(fù)熵最大作為一個(gè)搜尋方向，可以實(shí)現(xiàn)順序地提取獨(dú)立源，充分體現(xiàn)了投影追蹤（ProjectionPursuit）這種傳統(tǒng)線性變換的思想。此外，該算法采用了定點(diǎn)迭代的優(yōu)化算法，使得收斂更加快速、穩(wěn)健。因?yàn)镕astICA算法以負(fù)熵最大作為一個(gè)搜尋方向，因此先討論一下負(fù)熵判決準(zhǔn)則。由信息論理論可知：在所有等方差的隨機(jī)變量中，高斯變量的熵最大，因而我們可以利用熵來度量非高斯性，常用熵的修正形式，即負(fù)熵。根據(jù)中心極限定理，若一隨機(jī)變量由許多相互獨(dú)立的隨機(jī)變量之和組成，只要具有有限的均值和方差，則不論其為何種分布，隨機(jī)變量較更接近高斯分布。換言之，較的非高斯性更強(qiáng)。因此，在分離過程中，可通過對(duì)分離結(jié)果的非高斯性度量來表示分離結(jié)果間的相互獨(dú)立性，當(dāng)非高斯性度量達(dá)到最大時(shí)，則表明已完成對(duì)各獨(dú)立分量的分離。負(fù)熵的定義：（3-31）式中，是一與具有相同方差的高斯隨機(jī)變量，為隨機(jī)變量的微分熵（3-32）根據(jù)信息理論，在具有相同方差的隨機(jī)變量中，高斯分布的隨機(jī)變量具有最大的微分熵。當(dāng)具有高斯分布時(shí)，；的非高斯性越強(qiáng)，其微分熵越小，值越大，所以可以作為隨機(jī)變量非高斯性的測(cè)度。由于根據(jù)式（3.6）計(jì)算微分熵需要知道的概率密度分布函數(shù)，這顯然不切實(shí)際，于是采用如下近似公式：（3-33）其中，為均值運(yùn)算；為非線性函數(shù)，可取，或或等非線性函數(shù)，這里，，通常我們?nèi)??？焖買CA學(xué)習(xí)規(guī)則是找一個(gè)方向以便具有最大的非高斯性。這里，非高斯性用式（3.7）給出的負(fù)熵的近似值來度量,的方差約束為1，對(duì)于白化數(shù)據(jù)而言，這等于約束的范數(shù)為1。FastICA算法的推導(dǎo)如下。首先，的負(fù)熵的最大近似值能通過對(duì)進(jìn)行優(yōu)化來獲得。根據(jù)Kuhn-Tucker條件，在的約束下，的最優(yōu)值能在滿足下式的點(diǎn)上獲得。（3-34）這里，是一個(gè)恒定值，,是優(yōu)化后的值。下面我們利用牛頓迭代法解方程（3.8）。用表示式（3.8）左邊的函數(shù)，可得的雅可比矩陣如下：（3-35）為了簡(jiǎn)化矩陣的求逆，可以近似為（3.9）式的第一項(xiàng)。由于數(shù)據(jù)被球化，,所以，。因而雅可比矩陣變成了對(duì)角陣，并且能比較容易地求逆。因而可以得到下面的近似牛頓迭代公式：（3-36）這里，是的新值，，規(guī)格化能提高解的穩(wěn)定性。簡(jiǎn)化后就可以得到FastICA算法的迭代公式：(3-37)實(shí)踐中，F(xiàn)astICA算法中用的期望必須用它們的估計(jì)值代替。當(dāng)然最好的估計(jì)是相應(yīng)的樣本平均。理想情況下，所有的有效數(shù)據(jù)都應(yīng)該參與計(jì)算，但這會(huì)降低計(jì)算速度。所以通常用一部分樣本的平均來估計(jì)，樣本數(shù)目的多少對(duì)最后估計(jì)的精確度有很大影響。迭代中的樣本點(diǎn)應(yīng)該分別選取，假如收斂不理想的話，可以增加樣本的數(shù)量。第四章語音信號(hào)盲分離仿真及分析4.1ICA算法實(shí)現(xiàn)下面仿真中所使用的語音源信號(hào)是在干擾噪聲很小的環(huán)境下用麥克風(fēng)錄制的3段不同的語音文件，保存成*.wav文件dragon.wav,man.wav,music.wav，四個(gè)男聲采樣率均為25600Hz，持續(xù)時(shí)間為10s。圖4.1是這3個(gè)語音源信號(hào)的時(shí)域波形,圖中的橫坐標(biāo)表示樣本點(diǎn)數(shù)，縱坐標(biāo)表不語音信號(hào)的幅度水平。原始的語音信號(hào)如下:圖4.1原始語音信號(hào)該仿真的混合矩陣是由隨機(jī)函數(shù)rand產(chǎn)生的，即該矩陣為一個(gè)4x3的方陣,參數(shù)見下圖：圖4.2混合矩陣混合后的語音信號(hào):圖4.3混合信號(hào)采用混合信號(hào)進(jìn)行訓(xùn)練學(xué)習(xí)，求出分離矩陣：圖4.4分離矩陣FastICA算法分別求出三路分離信號(hào)，信號(hào)如圖4.5：圖4.5分離信號(hào)從試驗(yàn)結(jié)果，我們可以看出分離語音信號(hào)從波形上看很好地保持了原始信號(hào)的波形，而且實(shí)際分離的語音信號(hào)在聽覺上也很好的實(shí)現(xiàn)了分離，而且?guī)缀鯖]有什么失真效果。但是三幅圖像的順序產(chǎn)生了變化:原始輸入信號(hào)1對(duì)應(yīng)分離信號(hào)3，原始輸入信號(hào)2對(duì)應(yīng)分離信號(hào)1，原始輸入信號(hào)3仍然對(duì)應(yīng)分離信號(hào)2。4.2頻譜分析本仿真針對(duì)原始輸入信號(hào)，混合信號(hào)，分離信號(hào)分別進(jìn)行了頻譜分析。圖像主要顯示了福祉，相位，頻譜等信息。原始三路輸入信號(hào)頻譜圖如圖4.64.8所示：圖4.6輸入信號(hào)1頻譜圖圖4.7輸入信號(hào)7頻譜圖圖4.8輸入信號(hào)3頻譜圖混合信號(hào)頻譜圖如圖4.94.11所示：圖4.9混合信號(hào)1頻譜圖圖4.10混合信號(hào)2頻譜圖圖4.11混合信號(hào)3頻譜圖分離信號(hào)頻譜圖如圖4.124.14所示：圖4.12分離信號(hào)1頻譜圖圖4.13分離信號(hào)2頻譜圖圖4.14分離信號(hào)3頻譜圖僅對(duì)各圖像進(jìn)行頻譜分析得：圖4.15綜合頻譜分析由上圖可知：在用FastICA實(shí)現(xiàn)語音信號(hào)的盲分離過程中，原始輸入信號(hào)和分離信號(hào)形狀相同，但是幅度和相位產(chǎn)生了一些變化。對(duì)頻譜觀察可知，頻譜形狀也未變化，只是幅度相應(yīng)提高。說明FastICA僅改變信號(hào)幅度和相位，并不改變頻率分量。

第五章總結(jié)盲源分離技術(shù)是近二十年發(fā)展起來的一門新型科學(xué)，在各國科學(xué)家和研究人員的努力下獲得了長(zhǎng)足的發(fā)展，但是它畢竟是一個(gè)涉及面廣并且仍處在發(fā)展前沿的課題，在理論上還遠(yuǎn)沒有成熟，許多問題有待進(jìn)一步研究和解決。(1)非線性混合信號(hào)的盲源分離算法。現(xiàn)有的算法研究大部分集中線性領(lǐng)域，僅有的對(duì)非線性混合的研究也只是基于在特殊情況下的假設(shè)之上。因此，對(duì)更一般的非線性混合信號(hào)的盲分離需作進(jìn)一步的研究。(2)非平穩(wěn)混合信號(hào)的盲源分離算法。許多情況下源信號(hào)可能是非平穩(wěn)的，如何利用信號(hào)的非平穩(wěn)特性進(jìn)行盲源分離是擺在廣大研究人員面前的一個(gè)現(xiàn)實(shí)問題。(3)卷積混合信號(hào)的盲源分離算法。在實(shí)際中，系統(tǒng)接收到的混合輸入信號(hào)是源信號(hào)經(jīng)過不同的傳播途徑到達(dá)接收器.在這個(gè)過程中，不可避免的存在信號(hào)的時(shí)延和反射。針對(duì)這種情況的盲源分離算法還很不成熟。本次課程設(shè)計(jì)所涉及到的主要知識(shí)是數(shù)字信號(hào)處理、MATLAB方面的。我將把本次畢業(yè)設(shè)計(jì)的心得和體會(huì)簡(jiǎn)述如下：(1)系統(tǒng)思維。必須有系統(tǒng)的設(shè)計(jì)思維，把每一個(gè)細(xì)節(jié)都放到整個(gè)系統(tǒng)中考慮，考慮整個(gè)系統(tǒng)設(shè)計(jì)的可行性、完整性、穩(wěn)定性和功能的實(shí)現(xiàn)，這樣才不會(huì)局限在細(xì)節(jié)上，才能快速的完成性能優(yōu)越的軟件設(shè)計(jì)。(2) 把握細(xì)節(jié)。系統(tǒng)也是由細(xì)節(jié)構(gòu)成的，在把握整個(gè)系統(tǒng)思維的基礎(chǔ)上把握每一個(gè)細(xì)節(jié)，因?yàn)槊恳粋€(gè)細(xì)節(jié)都有可能決定整個(gè)系統(tǒng)的性能。在寫代碼時(shí)，把每一個(gè)變量與過程考慮清楚才可能完成整個(gè)程序。(3) 勇于嘗試。系統(tǒng)即使經(jīng)過了非常嚴(yán)格的論證也仍然可能存在問題，或許面對(duì)問題一時(shí)沒有很好的解決方案，但是有一個(gè)或許可行的大膽的想法，不要猶豫，試一試吧。勇于嘗試往往能夠找到更好的解決方法。(4) 保持自信。無論遇到什么困難，我都相信自己一定能夠找到解決的方法，有的時(shí)候只要稍微再用一點(diǎn)力、使一點(diǎn)勁，結(jié)果就會(huì)不一樣。參考文獻(xiàn)[1]胥永剛,張發(fā)啟,何正嘉.獨(dú)立分量分析及其在故障診斷中的應(yīng)用[J]2004(03)[2]陳華富,堯德中.獨(dú)立成分分析及其應(yīng)用的研究進(jìn)展[J]2003(02)[3]楊世錫,焦衛(wèi)東,吳昭同.基于獨(dú)立分量分析特征提取的復(fù)合神經(jīng)網(wǎng)絡(luò)故障診斷法[J].2004(04)[4]譚北海,楊祖元.欠定盲分離中源的個(gè)數(shù)估計(jì)和分離算法[J].2009(03)[5]申永軍,楊紹普,孔德順.基于奇異值分解的欠定盲信號(hào)分離新方法及應(yīng)用[J]2009(08)[6]張赟,李本威,王永華.基于位勢(shì)函數(shù)的欠定盲源分離識(shí)別診斷方法[J].2010(01)[7]彭煊基于獨(dú)立分量分析的語音增強(qiáng)[期刊論文]2002(05)[8]張智林.皮亦鳴基于獨(dú)立分量分析的降噪技術(shù)[期刊論文]2005(03)[9]周成.劉釗基于獨(dú)立分量分析的單通道語音降噪算法研究2005(05)[10]馬建芬盲源分離在單通道語音增強(qiáng)算法中的應(yīng)用[期刊論文]2006(11)[11]徐靜波子帶頻譜分析的語音增強(qiáng)[期刊論文]2006(03)[12]鐘靜.傅彥基于快速ICA的混合語音信號(hào)分離[期刊論文]2005(05)[13]徐巖基于譜相減改進(jìn)算法的語音增強(qiáng)研究[期刊論文]2004(01)[14]楊福生.洪波獨(dú)立分量分析的原理與應(yīng)用2006[15]洪歐麥克風(fēng)陣列語音增強(qiáng)技術(shù)及其應(yīng)用[期刊論文]2006

附錄%%%%%%%%%%%%%%%%初始化%%%%%%%%%%%%%clc;clearall;closeall;%%%%%讀入原始圖像，混合，并輸出混合圖像%%%%%fs=25600;%語音信號(hào)采樣頻率為25600f=fs*(0:2047)/4096;%讀入混合前的原始圖片并顯示I1=wavread('man.wav')';I2=wavread('dragen.wav')';I3=wavread('music.wav')';subplot(6,3,1);plot(I1);title('輸入聲音1');subplot(6,3,4);a=I1;y1=fft(a,4096);%對(duì)信號(hào)做4096點(diǎn)FFT變換plot(f,abs(y1(1:2048)));title('原始語音信號(hào)1頻譜');axis([015000100]);subplot(6,3,2);plot(I2);title('輸入聲音2');subplot(6,3,5);b=I2;y1=fft(b,4096);%對(duì)信號(hào)做4096點(diǎn)FFT變換plot(f,abs(y1(1:2048)));title('原始語音信號(hào)2頻譜');axis([015000100]);subplot(6,3,3);plot(I3);title('輸入聲音3');subplot(6,3,6);c=I3;y1=fft(c,4096);%對(duì)信號(hào)做4096點(diǎn)FFT變換plot(f,abs(y1(1:2048)));title('原始語音信號(hào)3頻譜');axis([015000100])%將其組成矩陣S=[I1;I2;I3];%因此S_all是一個(gè)變量個(gè)數(shù)＊采樣個(gè)數(shù)的矩陣Sweight=rand(size(S,1));%取一隨機(jī)矩陣，作為信號(hào)混合的權(quán)矩陣MixedS=Sweight*S;%得到三個(gè)聲音的混合信號(hào)矩陣%將混合矩陣重新排列并輸出subplot(6,3,7),plot(MixedS(1,:)),title('混合聲音1'),subplot(6,3,10);d=MixedS(1,:);y1=fft(d,4096);%對(duì)信號(hào)做4096點(diǎn)FFT變換plot(f,abs(y1(1:2048)));title('混合語音信號(hào)1頻譜');axis([015000100]);subplot(6,3,8),plot(MixedS(2,:)),title('混合聲音2'),subplot(6,3,11);e=MixedS(2,:);y1=fft(e,4096);%對(duì)信號(hào)做4096點(diǎn)FFT變換plot(f,abs(y1(1:2048)));title('混合語音信號(hào)2頻譜');axis([015000100]);subplot(6,3,9),plot(MixedS(3,:)),title('混合聲音3'),subplot(6,3,12);f1=MixedS(3,:);y1=fft(f1,4096);%對(duì)信號(hào)做4096點(diǎn)FFT變換plot(f,abs(y1(1:2048)));title('混合語音信號(hào)3頻譜');axis([015000100]);MixedS_bak=MixedS;%將混合后的數(shù)據(jù)備份，以便在恢復(fù)時(shí)直接調(diào)用%%%%%%%%%%%%%%%%標(biāo)準(zhǔn)化%%%%%%%%%%%%%MixedS_mean=zeros(3,1);fori=1:3MixedS_mean(i)=mean(MixedS(i,:));end