獨立分量分析原理及分析準則概述目錄TOC\o"1-3"\h\u8161獨立分量分析原理及分析準則概述 1231001.1獨立分量分析基本原理 130941.1.1盲源信號分離 162671.1.2數(shù)學模型 1326081.1.3約束條件 242601.2統(tǒng)計學理論 231851.3獨立分量分析準則 3178981.1.1最大似然估計準則 481461.1.2最小互信息準則 462211.1.3信息最大準則 41.1獨立分量分析基本原理1.1.1盲源信號分離盲源信號分離（BlindSourceSeparation，BSS）這一問題是從“雞尾酒會”問題中演變而來[19]。此問題的前提條件就是有兩個人在有限且確定的場所內(nèi)部同時交流，交流過程被兩個不在相同地點的聲學測量設備所采集。獨立分量分析方法就是在解決盲源信號分離問題的過程中而產(chǎn)生的，其應用范圍變得日益廣泛。1.1.2數(shù)學模型獨立分量分析（IndependentComponentAnalysis，ICA）是Herault和Jutten首次提出的，并于1991年提出了H-J算法[20]，1994年Comon首次提出ICA的概念[21]。獨立分量分析是從麥克風采集到線性混合信號中提取噪聲源信號，唯一條件就是源信號相互獨立。如果傳感器數(shù)量是m，獨立噪聲源信號數(shù)量為n，隨機的干擾噪聲為n(t)，則采集到的混合信號與源信號得關系可用式(3-1)來表示：x（3-1）式中，xt=x1t，x分離系統(tǒng)輸出可用下式表示：y(3-2)式中，yty(3-3)1.1.3約束條件對于盲源信號的分離問題，為了有效地從觀測信號中估測出源信號，需要對獨立分量分析數(shù)學模型添加相關的約束條件，主要包含以下四個方面：（1）源信號的平均值是零，且相互獨立；（2）源信號的概率密度為非高斯，最多允許有一個高斯分布信號；（3）采集信號的設備數(shù)不能少于源信號的數(shù)量，A矩陣滿足列滿秩和能求逆；（4）干擾噪聲不存在或者小到可以忽略。1.2統(tǒng)計學理論統(tǒng)計學理論以概率為重點，把處理目標一般化，通過數(shù)學推導得出不同未知數(shù)之間的規(guī)律，以下對統(tǒng)計學中常用的一些基本概念進行介紹：（1）統(tǒng)計獨立性關聯(lián)性是一種統(tǒng)計工具，其作用是表示兩個變量之間的關系。如果兩個隨機變量之間沒有凸出的內(nèi)部關系，則兩個變量之間符合統(tǒng)計獨立性。用數(shù)學關系式表達如下：p(3-4)式中：p(x)為x的概率密度；p(y)為y的概率密度；p(x，y)為x與y的聯(lián)合概率密度。隨機向量的各個變量也有相互獨立性，則有如下關系：p(3-5)其中：p(xn)為第n個變量的邊緣概率密度；p(x1，…，xn)為聯(lián)合概率密度。不相關是概率統(tǒng)計中存在的一個概念，與統(tǒng)計獨立性比較相似，但是后者抑制效果更強。如果兩個未知數(shù)具有統(tǒng)計獨立性是兩個未知數(shù)不相關的充分不必要條件。用數(shù)學表達式如下：Cov(3-6)式中：E是期望值；Cov是協(xié)方差。（2）高階累積量在概率論這門學科中，協(xié)方差的高階對應稱作高階累積量，能清晰地表現(xiàn)存在于高階統(tǒng)計中的相關特征信息。對于高階累積量來說，概率密度p(x)經(jīng)過連續(xù)傅里葉變換得到的結(jié)果為x的第一特征函數(shù)，特征函數(shù)φ(ω)的表達式為：φ(3-7)將φ(ω)按泰勒級數(shù)進行展開，得到如下數(shù)學關系式：φ(3-8)式中：E[xk]表示隨機變量x的k階矩。對φ(ω)取對數(shù)之后，再經(jīng)過泰勒技術進行展開，經(jīng)數(shù)學計算可得如下表達式：φ(3-9)式中：ck=(?j)kd在實際應用中，一般使用前4階的累計量，前4階的累積量的表達式為：(3-10)式中：g1表示隨機變量x的一階矩；g2表示隨機變量x的二階矩；g3表示隨機變量x的三階矩；g4表示隨機變量x的四階矩。1.3獨立分量分析準則進行獨立分量分析時，在確定目標函數(shù)之后，再得出其最優(yōu)解，在分析時，要遵守如下準則：1.1.1最大似然估計準則當各分量具有統(tǒng)計獨立性時，某個結(jié)果發(fā)生的概率和前提條件的相關性處于最大[22]。此時，對于采集到的混合信號x和獨立噪聲源信號y之間滿足以下關系：p(3-11)對式（3-11）兩端取對數(shù)，可得以下關系：logp(3-12)當且僅當采集到的混合信號符合T分布時，有以下表達式：L(W)=(3-13)1.1.2最小互信息準則互信息能夠表征兩個概率密度之間的相關程度，并為變量之間的統(tǒng)計獨立性提供基礎。所估計的源信號滿足互信息為零的必要和充分條件。該項準則通過解算出矩陣W，使互信息量成為目標函數(shù)，并且估計信號y的每個分量的互信息量是最小值[23]。在工程計算中，互信息目標的函數(shù)通常用KL散度表示：I(3-14)通過式（3-14）可以得到以下關系式：I(3-15)式中：H(y)故此項準則的數(shù)學表達式為：φ(3-16)1.1.3信息最大準則信息最大準則的原理是最大化非線性神經(jīng)網(wǎng)絡的信息流或輸出熵，該處理前提條件為有界，這樣就