第7章基于K—L變換的特征提取7.1

離散的卡洛南—洛伊(K—L)變換7.2

采用K—L變換的分類特征提取7.3

鑒別向量和鑒別平面上一章討論的特征選擇是在一定的準則下從n個特征中選出m個來反映原來的模式，這種簡單的刪掉某個特征總是不十分理想的，因為一般來說，原來的n個數(shù)據(jù)各自在不同程度上反映了識別對象的某些特性，簡單的刪掉可能會丟失較多的信息。這時，若將原來的特征作正交變換，獲得的每個數(shù)據(jù)都是原來的n個數(shù)據(jù)的線性組合，然后從新的數(shù)據(jù)中選出少數(shù)幾個，使它們盡可能多地反映各類模式之間的差異，又盡可能的相互獨立，這比單純的選擇方法更靈活，效果更好，這就是將要介紹的K—L變換，它適用于任何的概率密度函數(shù)。K—L變換實際上是一種最佳的特征壓縮。返回本章首頁7.1離散的卡洛南—洛伊（K—L）變換返回本章首頁設是一個維的隨機向量，則它可以用下式無誤差的展開：返回本章首頁是線性獨立的，其構成了包含的維空間，這些向量就是這個空間的一個基組。進一步它還滿足以下性質(zhì)：假定我們只保留向量的分量的一個子集，就用這些分量估計出。返回本章首頁下面討論最佳子集的選取

若用的分量來恢復原始模式，不應使模式產(chǎn)生明顯的畸變。實際上我們的任務就是要選擇一個最佳的變換使得模式向量的維數(shù)降低后仍能保留模式的最重要的特征。若保留，不保留的用預先選定的常數(shù)來代替，這時對的估計值為：返回本章首頁注意到和都是隨機向量，用的均方誤差作為選取個特征的子集的有效性的判據(jù)，則是和的函數(shù)，要使最小，就是求使取極小值的最佳的和的值。對的選擇返回本章首頁也就是說，對于省略掉的那些分量，應當用它們的期望值來代替。這時的均方誤差對的最佳選擇（）實際上要在的條件下，找出使最小的，構造Lagrange函數(shù)：返回本章首頁L極小的必要條件為該式表示，是協(xié)方差矩陣的第i

個本征值，而是與對應的本征向量。這時，最小均方誤差為：式中所選的愈小，誤差愈小。從以上可以得出結論：返回本章首頁（1）為使誤差最小，不采用的本征向量，其對應的本征值應盡可能小。將本征值按大小次序標號，即應首先采用前面的本征向量。這時的變換矩陣為（2）K—L變換是在均方誤差最小的意義下獲得的數(shù)據(jù)壓縮的最佳變換，它消除模式特征之間的相關性，突出其差異性，且不受模式分布的限制。返回本章首頁例題7-1兩組二維空間的數(shù)據(jù)（a）（b）如圖所示，

試用K—L變換來做一維的特征提取。（a）（b）返回本章首頁解：這兩種情況下的期望向量

對于數(shù)據(jù)（a），有對于數(shù)據(jù)（b），有返回本章首頁計算協(xié)方差矩陣的本征值和本征向量：對于數(shù)據(jù)（a）:對于數(shù)據(jù)（b）:返回本章首頁期末測試1試列舉線性分類器中你所學過的最佳準則以及它們各自的原理。2試說明用監(jiān)督學習與非監(jiān)督學習兩種方法對道路圖像中道路區(qū)域的劃分的基本做法，以說明這兩種學習方法的定義與它們間的區(qū)別。3試說明Mahalanobis距離平方的定義，到某點的Mahalanobis距離平方為常數(shù)的軌跡的幾何意義，它與歐氏距離的區(qū)別與聯(lián)系。4

已知一組數(shù)據(jù)的協(xié)方差矩陣為

試問（1）協(xié)方差矩陣中各元素的含義。（2）求該數(shù)組的兩個主分量。（3）主分量分析或稱K-L變換，它的最佳準則是什么？（4）為什么說經(jīng)主分量分析后，消除了各分量之間的相關性。返回本章首頁設有兩類二維正態(tài)分布的樣本基于最小錯誤率的貝葉斯決策分界面方程為

，其中兩類的協(xié)方差矩陣先驗概率，并且有。試求：之值。考慮基于具有先驗知識和分布和

的樣本的分類器。（1）在這種情況下，求Bayes判定規(guī)則和Bayes錯誤率；（2）求按最近鄰法決策的漸近平均錯誤率。返回本章首頁1試列舉線性分類器中你所學過的最佳準則以及它們各自的原理。

答：Fisher準則：根據(jù)兩類樣本一般類內(nèi)密集,類間分離的特點，尋找線性分類器最佳的法線向量方向，使兩類樣本在該方向上的投影滿足類內(nèi)盡可能密集，類間盡可能分開。

該種度量通過類內(nèi)離散矩陣和類間離散矩陣實現(xiàn)。

感知準則函數(shù)：準則函數(shù)以使錯分類樣本到分界面距離之和最小為原則，即

通過錯分類樣本提供的信息對分類器函數(shù)進行修正，這種準則是人工神經(jīng)元網(wǎng)絡多層感知器的基礎。

最小平方誤差準則函數(shù)：使平方誤差最小，即

解線性不等式的問題轉(zhuǎn)化為解線性等式的問題，求得的偽逆解使平方誤差最小。返回本章首頁2試說明用監(jiān)督學習與非監(jiān)督學習兩種方法對道路圖像中道路區(qū)域的劃分的基本做法，以說明這兩種學習方法的定義與它們間的區(qū)別。答：監(jiān)督學習方法用來對數(shù)據(jù)實現(xiàn)分類，分類規(guī)則通過訓練獲得。該訓練集由帶分類號的數(shù)據(jù)集組成，因此監(jiān)督學習方法的訓練過程是離線的。

非監(jiān)督學習方法不需要單獨的離線訓練過程，也沒有帶分類號（標號）的訓練數(shù)據(jù)集，一般用來對數(shù)據(jù)集進行分析，如聚類，確定其分布的主分量等。

就道路圖像的分割而言，監(jiān)督學習方法則先在訓練用圖像中獲取道路象素與非道路象素集，進行分類器設計，然后用所設計的分類器對道路圖像進行分割。

使用非監(jiān)督學習方法，則依據(jù)道路路面象素與非道路象素之間的聚類分析進行聚類運算，以實現(xiàn)道路圖像的分割。返回本章首頁3試說明Mahalanobis距離平方的定義，到某點的Mahalanobis距離平方為常數(shù)的軌跡的幾何意義，它與歐氏距離的區(qū)別與聯(lián)系。答：Mahalanobis

距離的平方定義為：

其中，、為兩個向量，是一個正定對稱矩陣（一般為協(xié)方差矩陣）。根據(jù)定義，距某一點的Mahalanobis距離相等點的軌跡是超橢球，如果是單位矩陣，則Mahalanobis距離就是通常的歐氏距離。

返回本章首頁4

已知一組數(shù)據(jù)的協(xié)方差矩陣為

試問（1）協(xié)方差矩陣中各元素的含義。（2）求該數(shù)組的兩個主分量。（3）主分量分析或稱K-L變換，它的最佳準則是什么？（4）為什么說經(jīng)主分量分析后，消除了各分量之間的相關性。答：1）對角元素是各分量的方差，非對角元素是各分量之間的協(xié)方差。

2）主分量，求協(xié)方差矩陣的特征值，

相應的特征向量為：;

對應特征向量為，

這兩個特征向量即為主分量。返回本章首頁

3）K-L變換的最佳準則為：

對一組數(shù)據(jù)進行按一組正交基分解，在只取相同數(shù)量分量的條件下，以均方誤差計算截尾誤差最小。

4）在經(jīng)主分量分解后，協(xié)方差矩陣成為對角矩陣，因而各主分量間相關消除。返回本章首頁設有兩類二維正態(tài)分布的樣本基于最小錯誤率的貝葉斯決策分界面方程為

，其中兩類的協(xié)方差矩陣先驗概率，并且有。試求：之值。解：決策面方程為

返回本章首頁返回本章首頁返回本章首頁6考慮基于具有先驗知識和分布和

的樣本的分類器。（1）在這種情況下，求Bayes判定規(guī)則和Bayes錯誤率；（2）求按最近鄰法決策的漸近平均錯誤率。解：返回本章首頁返回本章首頁返回本章首頁一般的多類問題中，設損失函數(shù)為0-1損失函數(shù)返回本章首頁返回本章首頁