1、第五章 特征選擇和提取第五章 特征選擇和提取 特征選擇和提取是模式識別中的一個關鍵問題 前面討論分類器設計的時候，一直假定已給出了特征向量維數(shù)確定的樣本集，其中各樣本的每一維都是該樣本的一個特征； 這些特征的選擇是很重要的，它強烈地影響到分類器的設計及其性能； 假若對不同的類別，這些特征的差別很大，則比較容易設計出具有較好性能的分類器。第五章 特征選擇和提取 特征選擇和提取是構造模式識別系統(tǒng)時的一個重要課題 在很多實際問題中，往往不容易找到那些最重要的特征，或受客觀條件的限制，不能對它們進行有效的測量； 因此在測量時，由于人們心理上的作用，只要條件許可總希望把特征取得多一些； 另外，由于客觀上

2、的需要，為了突出某些有用信息，抑制無用信息，有意加上一些比值、指數(shù)或對數(shù)等組合計算特征； 如果將數(shù)目很多的測量值不做分析，全部直接用作分類特征，不但耗時，而且會影響到分類的效果，產(chǎn)生“特征維數(shù)災難”問題。第五章 特征選擇和提取 為了設計出效果好的分類器，通常需要對原始的測量值集合進行分析，經(jīng)過選擇或變換處理，組成有效的識別特征； 在保證一定分類精度的前提下，減少特征維數(shù)，即進行“降維”處理，使分類器實現(xiàn)快速、準確和高效的分類。 為達到上述目的，關鍵是所提供的識別特征應具有很好的可分性，使分類器容易判別。為此，需對特征進行選擇。 應去掉模棱兩可、不易判別的特征； 所提供的特征不要重復，即去掉那些

3、相關性強且沒有增加更多分類信息的特征。第五章 特征選擇和提取 說明 實際上，特征選擇和提取這一任務應在設計分類器之前進行； 從通常的模式識別教學經(jīng)驗看，在討論分類器設計之后講述特征選擇和提取，更有利于加深對該問題的理解。第五章 特征選擇和提取 所謂特征選擇，就是從n個度量值集合x1, x2, xn中，按某一準則選取出供分類用的子集，作為降維（m維，mn）的分類特征； 所謂特征提取，就是使(x1, x2, xn)通過某種變換，產(chǎn)生m個特征(y1, y2, ym) (mn) ，作為新的分類特征（或稱為二次特征）； 其目的都是為了在盡可能保留識別信息的前提下，降低特征空間的維數(shù)，已達到有效的分類。第

4、五章 特征選擇和提取 以細胞自動識別為例 通過圖像輸入得到一批包括正常細胞和異常細胞的圖像，我們的任務是根據(jù)這些圖像區(qū)分哪些細胞是正常的，哪些細胞是異常的； 首先找出一組能代表細胞性質的特征，為此可計算 細胞總面積 總光密度 胞核面積 核漿比 細胞形狀 核內(nèi)紋理 第五章 特征選擇和提取 以細胞自動識別為例 這樣產(chǎn)生出來的原始特征可能很多（幾十甚至幾百個），或者說原始特征空間維數(shù)很高，需要降低（或稱壓縮）維數(shù)以便分類； 一種方式是從原始特征中挑選出一些最有代表性的特征，稱之為特征選擇； 另一種方式是用映射（或稱變換）的方法把原始特征變換為較少的特征，稱之為特征提取。5.1 模式類別可分性的測度

5、距離和散布矩陣 點到點之間的距離 點到點集之間的距離 類內(nèi)距離5.1 模式類別可分性的測度 距離和散布矩陣 類內(nèi)散布矩陣 對屬于同一類的模式樣本，類內(nèi)散布矩陣表示各樣本點圍繞其均值周圍的散布情況，這里即為該分布的協(xié)方差矩陣。 類間距離和類間散布矩陣 多類模式集散布矩陣 以上各類散布矩陣反映了各類模式在模式空間的分布情況，但它們與分類的錯誤率沒有直接聯(lián)系。 （若與分類錯誤率聯(lián)系起來，可采用散度作為類別可分性的度量，在此不詳細介紹）5.2 特征選擇 設有n個可用作分類的測量值，為了在不降低（或盡量不降低）分類精度的前提下，減小特征空間的維數(shù)以減少計算量，需從中直接選出m個作為分類的特征。 問題：在

6、n個測量值中選出哪一些作為分類特征，使其具有最小的分類錯誤？5.2 特征選擇 從n個測量值中選出m個特征，一共有 中可能的選法。 一種“窮舉”辦法：對每種選法都用訓練樣本試分類一下，測出其正確分類率，然后做出性能最好的選擇，此時需要試探的特征子集的種類達到 種，非常耗時。 需尋找一種簡便的可分性準則，間接判斷每一種子集的優(yōu)劣。 對于獨立特征的選擇準則 一般特征的散布矩陣準則5.2 特征選擇 對于獨立特征的選擇準則 類別可分性準則應具有這樣的特點，即不同類別模式特征的均值向量之間的距離應最大，而屬于同一類的模式特征，其方差之和應最小。 假設各原始特征測量值是統(tǒng)計獨立的，此時，只需對訓練樣本的n個

7、測量值獨立地進行分析，從中選出m個最好的作為分類特征即可。 例：對于i和j兩類訓練樣本的特征選擇5.2 特征選擇 討論：上述基于距離測度的可分性準則，其適用范圍與模式特征的概率分布有關。 三種不同模式分布的情況 (a) 中特征xk的分布有很好的可分性，通過它足以分離i和j兩種類別； (b) 中的特征分布有很大的重疊，單靠xk達不到較好的分類，需要增加其它特征； (c) 中的i類特征xk的分布有兩個最大值，雖然它與j的分布沒有重疊，但計算Gk約等于0，此時再利用Gk作為可分性準則已不合適。 因此，假若類概率密度函數(shù)不是或不近似正態(tài)分布，均值和方差就不足以用來估計類別的可分性，此時該準則函數(shù)不完全

8、適用。5.2 特征選擇 一般特征的散布矩陣準則 類內(nèi)、類間和總體的散布矩陣Sw、Sb和St Sw的行列式值越小且Sb的行列式值越大，可分性越好。 散布矩陣準則J1和J2形式 使J1或J2最大的子集可作為所選擇的分類特征。 注：這里計算的散布矩陣不受模式分布形式的限制，但需要有足夠數(shù)量的模式樣本才能獲得有效的結果。作業(yè) 設有如下三類模式樣本集1，2和3，其先驗概率相等，求Sw和Sb1：(1 0)T, (2 0) T, (1 1) T2：(-1 0)T, (0 1) T, (-1 1) T3：(-1 -1)T, (0 -1) T, (0 -2) T5.3 離散K-L變換 全稱：Karhunen-L

9、oeve變換（卡洛南-洛伊變換） 前面討論的特征選擇是在一定準則下，從n個特征中選出k個來反映原有模式。 這種簡單刪掉某n-k個特征的做法并不十分理想，因為一般來說，原來的n個數(shù)據(jù)各自在不同程度上反映了識別對象的某些特征，簡單地刪去某些特征可能會丟失較多的有用信息。 如果將原來的特征做正交變換，獲得的每個數(shù)據(jù)都是原來n個數(shù)據(jù)的線性組合，然后從新的數(shù)據(jù)中選出少數(shù)幾個，使其盡可能多地反映各類模式之間的差異，而這些特征間又盡可能相互獨立，則比單純的選擇方法更靈活、更有效。 K-L變換就是一種適用于任意概率密度函數(shù)的正交變換。5.3 離散K-L變換5.3.1 離散的有限K-L展開 展開式的形式 如果對

10、c種模式類別ii=1,c做離散正交展開，則對每一模式可分別寫成：xi= ai，其中矩陣 取決于所選用的正交函數(shù)。 對各個模式類別，正交函數(shù)都是相同的，但其展開系數(shù)向量ai則因類別的不同模式分布而異。 K-L展開式的性質 K-L展開式的根本性質是將隨機向量x展開為另一組正交向量j的線性和，且其展開式系數(shù)aj（即系數(shù)向量a的各個分量）具有不同的性質。 在此條件下，正交向量集j的確定 K-L展開式系數(shù)的計算步驟5.3 離散K-L變換5.3.2 按K-L展開式選擇特征 K-L展開式用于特征選擇相當于一種線性變換。 若從K個特征向量中取出m個組成變換矩陣，即 = (1 2 m)，mK此時，是一個n*m維

11、矩陣，x是n維向量，經(jīng)過Tx變換，即得到降維為m的新向量。 選取變換矩陣，使得降維后的新向量在最小均方差條件下接近原來的向量x5.3 離散K-L變換5.3.2 按K-L展開式選擇特征 結論 從K-L展開式的性質和按最小均方差的準則來選擇特征，應使Eaj=0。由于Ea=ETx= TEx，故應使Ex=0?；谶@一條件，在將整體模式進行K-L變換之前，應先將其均值作為新坐標軸的原點，采用協(xié)方差矩陣C或自相關矩陣R來計算特征值。如果Ex0，則只能得到“次最佳”的結果。5.3 離散K-L變換5.3.2 按K-L展開式選擇特征 結論 將K-L展開式系數(shù)aj（亦即變換后的特征）用yj表示，寫成向量形式：y=

12、 Tx。此時變換矩陣用m個特征向量組成。為使誤差最小，不采用的特征向量，其對應的特征值應盡可能小。因此，將特征值按大小次序標號，即1 2 m n=0若首先采用前面的m個特征向量，便可使變換誤差最小。此時的變換矩陣為5.3 離散K-L變換5.3.2 按K-L展開式選擇特征 結論 K-L變換是在均方誤差最小的意義下獲得數(shù)據(jù)壓縮的最佳變換，且不受模式分布的限制。對于一種類別的模式特征提取，它不存在特征分類問題，只是實現(xiàn)用低維的m個特征來表示原來高維的n個特征，使其誤差最小，亦即使其整個模式分布結構盡可能保持不變。5.3 離散K-L變換5.3.2 按K-L展開式選擇特征 結論 通過K-L變換能獲得互不相關的新特征。若采用較大特征值對應的特征向量組成變換矩陣，則能對應地保留原模式中方差最大的特征成分，所以K-L變換起到了減小相關性、突出差異性的效果。在此情況下， K-L變換也稱為主成分變換。5.3 離散K-L變換5.3.2 按K-L展開式選擇特征 K-L變換實例 原始模式分布 特征提取作業(yè) 設有如下兩類樣本集，其出現(xiàn)的概率相等：1：(0 0 0)T, (1 0 0) T, (1 0 1) T , (1 1 0) T2：(0 0 1)T, (0 1 0) T, (0 1 1) T , (1 1 1) T用K