1、8.1 引言主成分分析所關(guān)心的問題，是通過一組變量的幾個(gè)線性組合來解釋這組變量的方差- 協(xié)方差結(jié)構(gòu)。它的一般目的是：（1）數(shù)據(jù)的壓縮；（2）數(shù)據(jù)的解釋。雖然要求P個(gè)成分可以再現(xiàn)全系統(tǒng)的變異性，但大部分變異性常常只用少數(shù)k個(gè)主 成分就可說明。出現(xiàn)這種情況時(shí)，這A個(gè)主成分中所包含的信息和那P個(gè)原變量所包含的 （幾乎）一樣多。于是這k個(gè)主成分就可以用來取代那初始的p個(gè)變量，并且由對(duì)p個(gè)變 量的”次測(cè)量值所組成的原數(shù)據(jù)集，就壓縮為對(duì)4個(gè)主成分的篦次測(cè)量值所組成的數(shù) 據(jù)集。主成分分析常常揭示出一些先前不曾料想到的關(guān)系，因而會(huì)對(duì)數(shù)據(jù)給出一些不同尋 常的解釋。例8. 5討論的股票市場數(shù)據(jù)，提供了這方面的一個(gè)

2、好例子。主成分分析更多地是一種達(dá)到目的的方法，而非目的本身。這是因?yàn)橹鞒煞址治鲱l繁 地用作許多大型調(diào)研的中間步驟，例如，可以將主成分分析插到多重回歸（見第7章）或聚 類分析（見第12章）中去;此外還因?yàn)椋ǔ叨龋┲鞒煞质堑?章考慮的因子分析模型中協(xié)方 差矩陣的一個(gè)“分解因子工8.2 總體主成分主成分,在代數(shù)學(xué)上是2個(gè)隨機(jī)變量X1,Xz，X,的一些特殊的線性組合，而在幾 何學(xué)上這些線性組合代表選取一個(gè)新坐標(biāo)系，它是以X|，M，,X,為坐標(biāo)軸的原坐標(biāo)系 旋轉(zhuǎn)后得到的。新坐標(biāo)軸代表數(shù)據(jù)變異性最大的方向，并且提供對(duì)協(xié)方差結(jié)構(gòu)的一個(gè)較為 簡單但更精煉的刻畫。我們將會(huì)看到，主成分只依賴于X1，Xz，,X,的

3、協(xié)方差矩陣£（或相關(guān)矩陣p）.它們 的進(jìn)一步討論不需要多元正態(tài)的假定。另一方面，對(duì)由多元正態(tài)總體導(dǎo)出的主成分可用常 數(shù)密度橢球來作有用的闡明。進(jìn)而，當(dāng)總體是多元正態(tài)時(shí)可由樣本分量作出推斷（見8. 5 節(jié)）。設(shè)隨機(jī)向量X，= X,Xz，,有協(xié)方差矩陣E,其特征值乙0?？紤]線性組合347Y a/X = anX| + a|2X2 + +Y2 = a/X = a2X + a22X2 + + a2Pxp K O- 1 /Y, = a/X =+ aptX2 + +則由式（2-45）,我們得到Var（y,） = a/ Za, i = L2,，p（8-2）Cov（y,匕）=a/ Sa* i .k =

4、（8-3）主成分是那些不相關(guān)的線性組合匕，匕，.丫,，它們能使在式（8-2）中的方差盡可能 地大。第一主成分是有最大方差的線性組合，也即它使Var（K）=aJZa】最大化。顯然. Var（yl） = a；2al會(huì)因?yàn)槿魏蝍,乘以某個(gè)常數(shù)而增大.為消除這種不確定性，一個(gè)方便的 辦法是只關(guān)注有單位長度的系數(shù)向量。我們因此定義第一主成分=線性組合a；x,在跖a = l時(shí)，它使Var（"X）最大第二主成分=線性組合£X,在和Cov（ajX,£X） = 0時(shí)，它使Var（a/X）最大在第i步.第i個(gè)主成分=線性組合2,在3,a = 1和Cov（a，X,a：X） = 0aVD

5、時(shí)，它使 Var（a：X）最大結(jié)論8. 1設(shè)E是隨機(jī)向量X' = X,X2,X,的協(xié)方差矩陣。它有特征值特征向 量對(duì)（4，%）,。2速2），（L，eQ,其中為'不>則第，個(gè)主成分由匕=e/X = e“Xi + et2Xt + + %,X», i = 1,2，戶（8-4）給出。此時(shí)，Var（yj = e/Se,=4 i = 1,2,，戶Cov（匕，匕）=e/= 0 i 中 k（8-5）如有某些人相等，那么對(duì)應(yīng)的系數(shù)向量e,的選取從而y,的選取，就都不是惟一的。證明從式（2-5D，取B=E,我們知道m(xù)ax = % （當(dāng)a =新時(shí)達(dá)到最大值）但是既然特征向量已規(guī)范化了

6、，«,=1,這樣，max a y=4=旦在i = "兄=Var（y）wo 8 ae1新類似地，利用式（2-52）,我們得到a'Za 、max 73-= 兒+ik = 1»2,>/> 1My a a對(duì)于選取a=e,.i使e；+ie, = 0,f = l,2,A和4=1,2八,/>1,e；+i&*+i/e；41卻.1=e；.Ee.+ i = Var（匕但（工,+）=兒+a；+通,+| =九+|故Var（y4+l） = A*+lc還需要證明e.與e4垂直（也即e,a = O,，#A）將給出Cov（Y,匕）= 0。現(xiàn)在，如果2的特征值%,

7、“，,，人全都不同，則I 348 的特征向量是相互正交的，而如工的特征值不是全不相同，則對(duì)應(yīng)共同特征值的特征向 量可以選為正交的。因此，對(duì)于任意特征向量e.和g，e,'e' = °"H3既然處，用 去乘,便得到對(duì)于任意的有Cov（y,yj = e；Se* e/A*e> = A*e/e* = 0證畢。由結(jié)論8.1可知,主成分都是不相關(guān)的，而且它們的方差等于E的特征值。結(jié)論8.2設(shè)隨機(jī)向量X' = Xi.Xz，XJ有協(xié)方差矩陣工其特征值-特征向量對(duì) （4 ,e：）, （4 g）,，（2,得），其中為蒞）乙>0。設(shè) K）=e/X ty2=e2/

8、X» »yx, = e/X 是主成分。則pP+ . + + °pp Var（Xt） =4- A2 + + 人=tVar（K）r- 1» i證明 由定義2A. 28w”+/zHFo” = tr（£）。由式（2-20）取A = 2,我們可寫Z =PAP）其中A是特征值的對(duì)角矩陣,而P = %,e2,e,故有P'P = PP' = I。利用結(jié)論 2A.i2（c）,我們有tr（5） = tr（PAP'） = tr（APT） = tr（A） = % + % + + A于是*Var(X,) = tr(S) = tr(A) =

9、63;Var(Y,)結(jié)論8.2說明總體總方差=5i +=Aj + % + + 入戶從而總方差中屬于第卜個(gè)主成分（被第卜個(gè)主成分所解種的）的比例為總方差中屬于第人個(gè)主成分=+不；."，4 = 1，2,少（8-7）的比例如果總方差的相當(dāng)大的部分（例如80%到90%）歸因于第一個(gè)、前兩個(gè)或前三個(gè)成分，而 p較大，那么這些成分就可以“取代”原來的力個(gè)變量，而且信息損失不多。系數(shù)向量e,' = 0,1，,=，/的每一個(gè)分母也值得注意。J的大小量度第k個(gè)變 量對(duì)第i個(gè)主成分的重要程度，而不管其他變量如何。特別地，"與丫，和x*之間的相關(guān) 系數(shù)成比例V結(jié)論8.3如果丫尸“乂，丫2

10、 =勺,，Y, = e；X是從協(xié)方差矩陣Z所得到的主成 分，則i .卜=1,2,力是成分匕和變量X.之間的相關(guān)系數(shù)，此處（入出），（用.匕），（兒一,）是工的特征值-特 征向盤對(duì)。 349 Py,八證明 設(shè)a； = 0,，0,1,0,，0,則由式(2-45)有X產(chǎn)&；X和Cov(X,，匕)= Cov(a/X,e/X) = a/2e.既然 Ee. = Ze,.CQv(X-y,) = .Za = >UA。則由 Var(y,) = A,見式 (8-5)和 Var(X*) = On得出=1,2,雖然變量和主成分之間的相關(guān)系數(shù)有助于解釋這些成分，但它們只量度單個(gè)X對(duì)成 分Y的單變量的貢獻(xiàn)。

11、這也就是說,在其他那些X存在時(shí).它們并不表明該X對(duì)成分Y 的重要程度。因?yàn)檫@個(gè)理由，某些統(tǒng)計(jì)學(xué)家（例如，見Rencher17）推薦，用于解群主成分 時(shí)只用成分系數(shù)e,而不用相關(guān)系數(shù)。雖說作為變量對(duì)已知成分的重要性的測(cè)度，系數(shù)和 相關(guān)可能導(dǎo)出不同的重要性等級(jí),但是我們的經(jīng)驗(yàn)表明，這種等級(jí)的差別常常不是大到很 明顯，在實(shí)踐中，有較大（按絕對(duì)值）系數(shù)的變量,趨向于有較大的相關(guān)，故這兩個(gè)重要性的 測(cè)度1前者為多變量，后者為單變量）經(jīng)常給出相似的結(jié)果,我們建議既考察系數(shù)又考察相 關(guān)，這有助于解釋主成分。下面是一個(gè)虛構(gòu)的例子,用來說明結(jié)論8. 1,8. 2和8. 3。例8.1 (計(jì)算總體主成分)設(shè)隨機(jī)變量

12、X.X2和X3有協(xié)方差矩陣1-2 0'E = - 25 0-00 2.可以行驗(yàn)特征值特征向量對(duì)為4 = 5. 83 e/ = 0. 383, 0. 924,022 = 2. 00e/ = 0,0,14 = o. 17 e/ = 0, 924,0, 383,0 因此，主成分為.=e；X = 0. 383Xj 0. 924X2Y2 = e；X = Xi匕=e；X = 0. 924X1+ 0. 383X2變量Xs是主成分之一，因?yàn)樗c其余的兩個(gè)變量不相關(guān)。第一主成分可以闡明式(85)。例如Var(y。=Var(0. 383X1-0. 924X2)=0. 3832 X VarCX,) + (

13、0. 924)2 X Var(X2)+ 2 X 0. 383 X (- 0. 924) X Cov(X,X2)=0. 147 X 1 + 0. 854 X 5 - 0. 708 X (- 2)= 5.83 =1】Cov(Yl9Y2) =Cov(0. 383X1 - 0. 924X2,X3)=0. 383Cov(XmX3) - 0. 924Cov(X2,X3)R50=0. 383 X 0 - 0. 924 X 0 = 0也容易看出+ + / = 1 + 5 + 2 = A + 22 + 4 = 5. 83 + 2. 00 4 0.17 此例證實(shí)式（8-6）正確,總方差中歸因于第一主成分的比例為為

14、/（4+蒞+%）= 583/8 = 0.73。進(jìn)一步,前兩個(gè)主成分占總體方差的（5.83 + 2）/8 = 0.98。此時(shí)，兩個(gè)成分匕和丫2 可以代替原先的三個(gè)變量而不會(huì)有什么信息損失。e” C = 0. 383 X JS. 83=0. 9250. 924 X 仄.83 k=-0. 998注意這里變量占有系數(shù)一0.924,在主成分匕中擁有最大的權(quán)數(shù)。它也有與E最大 （按絕對(duì)值）的相關(guān)系數(shù)。X|和匕的相關(guān)系數(shù)為0. 925,幾乎與前者一樣大,這表明此兩個(gè) 變量對(duì)第一主成分來說大致同樣重要。然而Xi和X2的系數(shù)的相對(duì)大小說明，對(duì)于匕的 確定，Xz的貢獻(xiàn)比X1要多。在這種情況下，由于兩個(gè)系數(shù)均相當(dāng)?shù)?/p>

15、大且有相反的正負(fù)號(hào)， 我們將認(rèn)為這兩個(gè)變量均有助于解釋匕，最后,色23=2冬=0和田=（一如所期）由于第三個(gè)成分不重要，所以余下的相關(guān)可以忽略?？紤]從多元正態(tài)隨機(jī)變量導(dǎo)出的主成分會(huì)提供大量信息。設(shè)X的分布為N（U.E）。 我們從式（4-7）知道，在以口為中心的橢球上,X的密度是常數(shù)（x M）= C2其軸為士c 4e,，=1,2,，戶，其中（42）是E的特征值-特征向量對(duì)。在原點(diǎn)為U、坐標(biāo) 軸平行于原坐標(biāo)軸與，與，4的坐標(biāo)系中，位于橢球第i條坐標(biāo)軸上的一點(diǎn),將有與 %，= （，見/成比例的坐標(biāo)。在下面的討論中，令H=0將是方便的。從2. 3節(jié)的討論，取A = £7,我們可有c2 = x

16、-'x = -（e/x）2 + j-Ce/x）2 + + p（e；x）2 %a2其中e；x,&x,e；x為x的主成分。設(shè)=e；x,“=e2'x,”=e；x,我們有/ = yyf + yyl + + yy AiAu人o并且在具有分別沿?zé)敉?,，與方向的坐標(biāo)軸為沙，“，力的坐標(biāo)系中，上式定義了一 個(gè)橢球（由于%,不，人都是正的屋如果不是最大的特征值，那么主軸沿著勁的方向。 這樣做可不失一般性，因?yàn)榭偪梢詫⒄龖B(tài)向量X變換為正態(tài)向量W = X-M而有七（亞）=0,而©。丫（乂）一C0V（W）e 351 余下較次要的坐標(biāo)軸沿著由e”，與確定的方向，總而言之9主成分V =

17、e1'x,” = e2'X9，” =e；x沿著常數(shù)密度橢球的坐標(biāo)軸方向。因此， 在第i條橢球軸上任一點(diǎn)x的坐標(biāo)，與e： = e“， ，e,J的成比例，并且還必定有形如0,， 0,、,0，0的主成分。當(dāng)uHO時(shí)，均值中心化主成分y =e/（x U）的均值為0,且在e,的方向上。圖8. 1表示的是一個(gè)均值u為0和0= 0. 75的二元正態(tài)隨機(jī)向量的常數(shù)密度橢圓和主 成分。我們看到，將原坐標(biāo)軸旋轉(zhuǎn)一個(gè)角度心直 到它們與常數(shù)密度橢圓的軸重合，就得到主成 分。這個(gè)結(jié)論對(duì)力2維時(shí)同樣成立。圖8.1均值為0的二元正態(tài)隨機(jī)向量X,其常數(shù)密度橢圓X=/和主成分y】，X從標(biāo)準(zhǔn)化變得到的主成分(8-

18、9)主成分也可以從標(biāo)準(zhǔn)化變量z* =因 一 "得到。采用矩陣記號(hào)z = （V,/l）_,（X M）（8-10）其中對(duì)角標(biāo)準(zhǔn)離差矩陣由式（2-35）定義。由式（2-37）易知E（Z） = 0,且Cov（Z） =- pZ的主成分可從X的相關(guān)矩陣p的特征向量得到。由于各個(gè)Z,的方差為1,我們先前提供 的所有結(jié)論都有更為的化的表達(dá)。我們將繼續(xù)用記號(hào)y,代表第i個(gè)主成分,用（4,e,）代表 特征值一特征向最對(duì)，不管它是從p或是W得到的。然而，由工導(dǎo)出的（4,e,）和由p導(dǎo)出的 （4c）, 一般來說是不同的。結(jié)論8. 4有Cov（Z） = p的標(biāo)準(zhǔn)化變量Z'=出2，,的第i主成分由 匕=

19、%2=%' （X y） t3 = 1.2 ，力給出。而且Var（y,） = JVar（Z.） = p（8-11）r-1&,.八=e,t Va- i、k = 1,2,/>352此時(shí)，（為，©。，（蒞,。2），（L，e.）都是P的特征值-特征向量對(duì)，且有。證明 結(jié)論8.4從結(jié)論8.1,8. 2和8. 3得到，只要用Z】Z，”代替X-X,，X,和用P代替E即可。一從式（8-11）我們看到，（標(biāo)準(zhǔn)化變量）總體的總方差就是。，即矩陣P的對(duì)角元之和。 利用式（8-7）,用Z取代X,我們發(fā)現(xiàn)，由Z的第A個(gè)主成分解釋的總方差所占的比例是，第A個(gè)主成分解釋的總方差=:， A =

20、1,2,，P（8-12）所占的比例其中諸兒都是P的特征值。例8. 2 （從協(xié)方差矩陣和從相關(guān)矩陣得到的主成分是不同的）考慮協(xié)方差矩陣N TL4 iooJ和導(dǎo)出的相關(guān)矩陣40.4'p =L0.4 1 J自E得出的特征值-特征向量對(duì)是A = 100. 16te/ = 0. 040,0. 999 4 = 0. 84,e/ = 0. 999, 一 0. 040類似地，來自P的特征值-特征向量對(duì)是A = 1 + p = 1. 4,“ = 0 707,0. 70714 = 1 一 p = 0. 6,e/ = 0. 707, - 0. 707相應(yīng)的主成分則分別為Yx = 0. 040X)+ 0. 9

21、99X,Y2 = 0. 999Xi - 0. 040X:及y, = 0. 7O7Z1 + 0. 707Z, =0. 707廣產(chǎn))+ 0. 707(強(qiáng)薩)=0. 707(X)%)+ 0. 0707(X2 -%) r %=0. 707Z, - 0. 707Z, =0. 707(X, -j 一707( XQ-)=0. 707(X1 一 4)一 0 0707(X2 - %)由于X?的方差大，它完全控制了由工確定的第一主成分。而且，第一主成分解釋的總體總方差的比例為100. 16=0. 992然而，當(dāng)變量X1和Xz標(biāo)準(zhǔn)化后,所得變量對(duì)由P確定的主成分的貢獻(xiàn)卻相同。利用 結(jié)論8.4,我們得到 353 &a

22、mp;凸=（« = 0. 707 X /T7I = 0. 837及PYl.zt = Qi G = 0. 707 X /14 = 0. 837在這種情況，第一主成分解釋（標(biāo)準(zhǔn)化）總體總方差的比例為然 ¥ = 87最讓人吃驚的是，我們看到變量對(duì)于，比如說，第一主成分的相對(duì)重要性受到標(biāo)準(zhǔn)化 的極大影響.當(dāng)由P確定的第一主成分用X,和X2表示時(shí)，權(quán)數(shù)的相對(duì)大小0. 707及 0. 0707,卻與由W確定的主成分中的那些變量所得到的權(quán)數(shù)的相對(duì)大小o. 040及0.999, 正好相反。上例表明由W導(dǎo)出主成分與由p導(dǎo)出的主成分是不同的，而且,一組主成分也不是另 外一組主成分的簡單函數(shù)。這

23、說明，標(biāo)準(zhǔn)化不是無關(guān)緊要的.如果在極其不同的范圉內(nèi)測(cè)址變量，或是測(cè)量單位不是同量綱的，那么變量可能應(yīng)該 標(biāo)準(zhǔn)化。例如，X1代表年銷傳額，在10 000美元到350 000美元之間，而Xt是比值（年凈 收入）/（總資產(chǎn)），它落在0.01到0. 60之間。那么這時(shí)總方差會(huì)幾乎全部歸因于銷售額。 此種情況下,我們會(huì)得到單一的（重要的）主成分，且長權(quán)數(shù)很大。相反，如果兩個(gè)變量都 標(biāo)準(zhǔn)化,它們的大小將在同一層次上民式或4）將在主成分結(jié)構(gòu)上起較大的作用。這個(gè)性 質(zhì)，在例8.2看到過。有特殊結(jié)構(gòu)的協(xié)方差矩陣的主成分存在某些模式的協(xié)方差和相關(guān)矩陣，它們的主成分能夠表示成簡單的形式。設(shè)工是 對(duì)角矩陣0” o_

24、0 an 0:.：<813) 10 。令e' = o,0,1,0,o,第i個(gè)位置上為1,我們看到并得到結(jié)論：（。,.,七）是第i個(gè)特征值.特征向量對(duì)。由于線性組合（x=x,此組主成分正 是原來那組不相關(guān)隨機(jī)變量。對(duì)如式（8-13）所示的協(xié)方差矩陣，抽取主成分時(shí)是什么東西也得不到的.從另一方面 看，如果X服從正態(tài)分布N/U.E）,常數(shù)密度的輪廓線是橢球,其軸已經(jīng)沿著最大變差方 354 向，于是就沒有必要去旋轉(zhuǎn)坐標(biāo)系了。對(duì)式（8-13）中的E,標(biāo)準(zhǔn)化基本上不改變上面這種情況。在那種情況下，P = L一個(gè) pXp的單位矩陣。易知，pe, = W，故特征值1有P重且可方便地取這些特征向量

25、為e，' = 0,，0,1.0,，0"=1，2,，0。于是，由p確定的主成分也是原變量乙以2,，Z,。而 且，在特征值相等的情形下，常數(shù)密度的多元正態(tài)橢球是球體。2另一種模式的協(xié)方差矩陣常用于描述諸如生物大小等生態(tài)學(xué)變量中的對(duì)應(yīng)關(guān)系.這 種矩陣的一般形式為(8-14)k pa2 得到的相關(guān)矩陣為'IP(8-15)P1-P =. -pP也是標(biāo)準(zhǔn)化變量的協(xié)方差矩陣。式（8-15）中的矩陣意味著變量X1,Xz，X，是等相關(guān) 的。 . 不難證明（見練習(xí)8.5）,相關(guān)矩陣（8-15）的P個(gè)特征值可以分為兩組。當(dāng)P為正時(shí)， 最大特征值為為=1 + （- 1）。（8-16）相聯(lián)系的

26、特征向量為7%方七(8-17)其余21個(gè)特征值是22 = 4 =L = 1 - P 它們的特征向量可以選為，一7，后邑，0,，°第一主成分 355 與戶個(gè)原變景之和成比例。它可以看作有等權(quán)的“指數(shù)”。該主成分解釋總體總方差的比 例為A 1 + （/> - 1 ）p . p7 = p -pp（8-18）我們看到,0接近1或者"較大時(shí)，為/> =0。例如，若p=o. 80和2 = 5,第一主成分解釋總 方差的84%e當(dāng)p近似于1 ,后/>一1個(gè)成分對(duì)總方差的集體貢獻(xiàn)十分小，?？陕匀?。如果標(biāo)準(zhǔn)化變量Z-Zz，,Z,服從多元正態(tài)分布,協(xié)方差矩陣由式（8-15）給出

27、,那么 常數(shù)密度橢球呈“雪茄煙形”主軸與第一主成分匕=（1/斤）口,1,.11X成比例。該 主成分是X在等角線=，11上的投影.那些短軸（及余下的主成分）占據(jù)球形對(duì)稱方向，與主軸（及第一主成分）垂直。8.3綜合主成分的樣本變差現(xiàn)在我們已有了必要的框架來對(duì)戶個(gè)變量的次測(cè)量研究綜合其變差的問題，這p 個(gè)變量已審慎地選出了幾個(gè)線性組合。設(shè)數(shù)據(jù)X1,X2,X”為從均值向量為y協(xié)方差矩陣為工的某個(gè)p維總體中個(gè)獨(dú)立 的抽樣。這些數(shù)據(jù)得到樣本均值向量年,樣本協(xié)方差陣S,以及樣本相關(guān)陣R。本節(jié)的目的是構(gòu)造所測(cè)得的特征的不相關(guān)線性組合，而這些特征說明了大多數(shù)樣本 變差。有最大方差的不相關(guān)線性組合，可稱為樣本主成

28、分。回憶任意線性組合的個(gè)值a>X =即孫 + 生252 + +j = 1 有樣本均值如、和樣本方差ajSay對(duì)兩個(gè)線性組合的數(shù)值對(duì)（孫，樂,血'舄），也有樣本協(xié)方 差 “SaJ見式（3-36）。樣本主成分被定義為使樣本方差最大的那些線性組合。與對(duì)總體帶所做的一樣,我們 限制系數(shù)向量a,滿足=1.特別地，第一樣本主成分=使其樣本方差最大化的線性組合ajx,約束為aja1 = 第二樣本主成分=使其樣本方差最大化的線性組合a；x,約束為a；az=及數(shù)值對(duì) 除八孫工）的協(xié)方差為o在第i步,我們有第i（個(gè)）樣本主成分=使其樣本方差最大化的線性組合a,，&,約束為a/a（ = 1及所

29、有 數(shù)值對(duì)（a，X，a,、j）的協(xié)方差為O,AVi第一主成分將a/Sa,或等價(jià)地將a/Sa1樂大（8-19）最大化。根據(jù)式（2-51）,此最大值即是最大的特征值在選取a,=S的特征向量和時(shí)得 356 到。在0=a,'S3 = a：九就或a,與e4垂直的約束條件下，相繼選取a,使式（8-19）最大化。這樣，像結(jié)論8. 18. 3的證明一樣,我們得到關(guān)于樣本主成分的下述結(jié)論：若是特征值特征向量對(duì)為（入出），（&，&），（兒，點(diǎn),）的戶xp樣本協(xié)方差陣。則第，個(gè)樣本主成分由=e/x = etlxl + e.21 + + 3力， i = 1.2"給出，其中九兒0,而又

30、是變量Xi.X,.X,的任一觀察，同時(shí)還有,樣本方差（,）=&卜=1.2.，戶<8-20）樣本協(xié)方差（,）=0，此外.樣本總方差=%“ =% + & + 4, 1且我們把樣本主成分記為，區(qū)不管它們是由s還是由R得到的"從S和從R 構(gòu)造的主成分，一般說是不同的，但從匕下文會(huì)清楚究竟用的是哪個(gè)矩陣而為方便只用 一個(gè)記號(hào)工。在兩種情況下，將成分系數(shù)向量表示為e,將成分方差表示為A.,也是方便 的。常常從觀察值X,中減去、而使其“中心化”。這不影響樣本協(xié)方差陣S,并給出任一觀 察值向量x的第，個(gè)主成分y, = e/ （x x） 93 = 1,2 9 （8-21）若我們考

31、慮在式（8-21）中以各個(gè)觀察值、代替任意的x,所生成的第i個(gè)主成分的值%=e/（x/ - X）, j = L2,切（8-22）則有=工工良'（七-x） = e/（- x）=；曰0 = 0（8-23）/*!Ll也即各個(gè)主成分的樣本均值為0。樣本方差仍如式（8-20）中那樣，由諸A,給出。例8. 3 （用兩個(gè)樣本主成分綜合樣本變異性）一項(xiàng)調(diào)查提供威斯康星的麥迪遜地區(qū)各區(qū)域關(guān)于五個(gè)社會(huì)經(jīng)濟(jì)變量的信息。來自14 個(gè)區(qū)域的數(shù)據(jù)列在本章末練習(xí)的表8. 5中。這些數(shù)據(jù)產(chǎn)生下列綜合統(tǒng)計(jì)量： 如X,服從正態(tài)分布，樣本主成分也可以從工，得到,它是協(xié)方差陣工的M大似然估計(jì)（參看結(jié)論1】建） 此時(shí),只要工的

32、諳特征值不同,樣本主成分就可看作為相應(yīng)總體主成分的最大似然估計(jì)。（參看因?yàn)楸竟?jié)不要求 正態(tài)性假定，因此將不考慮I.同樣地，:有特征值6一 1）、乂和對(duì)應(yīng)的指征向量&.其中a居是s的特征值特 征向量對(duì).這樣,無論是s還是：都給出相同的樣本主成分士,、見式（8-2O）和相同的解彈方差的比例兒“入+及一 十心）.最后,無論s還是：都給出相同的樣本相關(guān)陣R,因此只要把變址標(biāo)腐化,選s還是選工都無所謂 357 4. 32,14.01,1.95,2. 17,2.45總?cè)丝谑芙逃晗蘧蜆I(yè)健康服務(wù)家庭收入（千人）中位數(shù)總?cè)藬?shù)業(yè)就業(yè)數(shù)中位數(shù)（千人）（千人）（萬美元）和4. 3081.6831.8032.

33、155 -0. 253"1.6831.7680. 5880.1770. 176S =1.8030. 5880. 8011.065 0. 1582. 1550. 1771.0651.970 -0. 3570. 2530. 1760. 1580. 3570. 504一試問樣本的變差能用1或2個(gè)主成分綜合嗎? 我們發(fā)現(xiàn)：主成分的系數(shù)（括號(hào)中為相關(guān)系數(shù)）變址為（,九.）以"為.）e3a總?cè)丝?. 781(0. 99)-0. 071(-0. 04)0. 0040. 542-0. 302受教育年限中位數(shù)0. 306(0.61)一0. 764(-0. 76)-0. 1620. 545一

34、0. 010就業(yè)總?cè)藬?shù)0. 334(0. 98)0. 083(0. 12)0.0150. 0500. 937健康服務(wù)業(yè)就業(yè)數(shù)0. 426(0. 80)0.579(0.55)0. 220一 0. 636-0. 173家庭收入中位數(shù)-0. 054(-0. 20)-0. 262(-0. 49)0. 962-0. 0510. 024方差口）：6.9311. 7860. 3900. 2300.014占總方差的累枳百分比74.193.297.499.9100第一主成分解釋樣本總方差的74. 1%,前兩個(gè)主成分合在一起則解釋樣本總方差的 93. 2%。因此，前兩個(gè)主成分很好地綜合了樣本方差，并且將對(duì)五個(gè)變景

35、的14次觀測(cè)合理 地壓縮到對(duì)兩個(gè)主成分的14次觀測(cè)。由前述主成分系數(shù)可知，第一主成分實(shí)質(zhì)上是前四個(gè)變量的加權(quán)平均。從第二主成分 看出健康服務(wù)業(yè)的就業(yè)和另兩項(xiàng)受教育年限中位數(shù)及家庭收入中位數(shù)的加權(quán)平均形成強(qiáng) 烈反差。正如我們?cè)谟懻摽傮w主成分時(shí)說過的那樣，為了闡明主成分成分系數(shù)“和相關(guān)系 數(shù)弓,，都應(yīng)進(jìn)行考查。相關(guān)系數(shù)考慮到了原變量方差的不同，但僅僅量測(cè)單個(gè)X的重要 性卻未顧及組成該成分的其他X。然而，從例8. 3注意到，表中的相關(guān)系數(shù)的確證實(shí)了由 成分系數(shù)所提供的闡述。主成分個(gè)數(shù)始終有個(gè)問題：應(yīng)保留多少個(gè)成分？對(duì)此沒有一個(gè)確切的回答。應(yīng)考慮的事情包括所 說明的樣本總方差的量、特征值（樣本成分方差

36、）的相對(duì)大小以及諸成分的現(xiàn)實(shí)題材的闡 述。此外,像我們稍后討論的那樣，與一個(gè)接近于零的特征值有關(guān)的成分，會(huì)顯得不重要， 卻可能表示數(shù)據(jù)中有一個(gè)意外的線性依賴關(guān)系。 358 一種能幫助我們確定主成分合適個(gè)數(shù)的有用的視覺工具是所謂的崖底碎石圖。將 特征宜從大到小排列,崖底碎石圖就是A,對(duì)序號(hào)，（即特征值的大小對(duì)特征值的號(hào)碼）的 （"Aj的圖。為確定主成分的合適個(gè)數(shù)，我們?cè)谠搱D上找拐彎處（彎曲處）。選取一個(gè)拐彎點(diǎn) 對(duì)應(yīng)的序號(hào)，此序號(hào)后的特征值全部較小且彼此大小差不多。這樣選出的號(hào)碼數(shù)作為主成 分的個(gè)數(shù)。圖8.2表示有6個(gè)主成分的崖底碎石圖。圖8.2中在，=3處拐彎。也就是說, 此后的特征值

37、全都比較小且彼此大小差 不多，在這種情況下，沒有其他證據(jù)也看得出，兩個(gè)（也許三個(gè)）樣本主成分有效 地綜合了樣本總方差。例8.4 （用一個(gè)樣本主成分綜合樣 本變異性）為研究海龜?shù)拇笮『托螤铋g的關(guān) 系,朱利科葉爾 Julicoeur ）和莫西曼 （Mosimann）ll測(cè)量了龜甲的長、寬和 高，他們的數(shù)據(jù)見練習(xí)6.17表65中，建 議對(duì)數(shù)據(jù)取對(duì)數(shù)作分析（朱利科葉爾 10建議在研究大小和形狀關(guān)系時(shí)一般 采用對(duì)數(shù)變換），并作主成分分析。24只雄海龜龜甲大小的自然對(duì)數(shù). 樣本均值向量為M= 4. 725, 4. 478, 3. 703,協(xié)方差陣為圖8.2岸底碎石圖11.072 8.019 8.1601

38、Is = 10-3 8.019 6.417 6. 005 ; 8.160 6.005 6.773J主成分分析（見顯示板8. 1的SAS統(tǒng)計(jì)軟件包的瑜出）得到下列數(shù)據(jù):主成分系數(shù)（括號(hào)內(nèi)為相關(guān)系數(shù)）主成分系敷（括號(hào)內(nèi)為相關(guān)系致）變tt6】仇|,，）«03In(長) In(寬) !n(ff)0. 683(0. 99)一。. 159-0. 7130.510(0.97)-0.5940.6220.523(0.97)0.7880.324方差U）：占總方差的累枳百分比23. 30X10-30. 60X 10",0. 36X 10-396. 198.5100顯示板8.1（利用PROC PR

39、INCOMP對(duì)例8.4的SAS分析） 譯者注：此圖得名于連線的圖形對(duì)應(yīng)大特征值的點(diǎn)較高.然后欣然下落成懸崖”狀.對(duì)應(yīng)后幾個(gè)小特 征值的點(diǎn)則似廊下一堆碎石. 359 title 'Principal Component Analysis',data turtle infile *E8-4. dat t ；input length width height xl = log(length)； x2 = log(width)； x3 = log(height)； proc princomp cov data = turtle out = result ；var xl x2 x3;1P

40、ROGRAM COMMANDSPrincipal Components AnalysisOUTPUT24 Observations3 VariablesSimple StatisticsXIX2X3Mean 4. 7254436474.4775737653.703185794StD0.1052235900.0801044660.082296771Covariance MatrixXIX2X3XI0.0110720040 )0.00801914190. 0081596480X20. 00801914190.0064167255 jC. 0060052707X30. 00815964800.006

41、00527070. 0067727585Total Variance = 0. 024261488Eigenvalues of the Covariance MatrixEigenvalueDifferencePreportionCumulativePRIN10. 0233030.0227050. 9605080. 96051PRIN20. 0005980. 0002380.0246610. 98517PRIN30. 0003600.0148321. 00000EigenvectorsPRIN1PRIN2PRIN3XI0 683102-0.159479一0. 712697X20.510220-

42、0. 5940120. 621953X30.5225390. 7884900. 324401圖83畫出了崖底碎石圖。圖上很突出的拐彎發(fā)生在,=2處。很清楚，有一個(gè)支配地 位的主成分。解釋96%總方差的第一主成分，還有一個(gè)有趣的題材解釋。由于.=0. 683 In（長）+ 0. 510 In（寬）+ 0. 523 In（高） 360 =ln（長683（寬）。（高）0叫第一主成分可看作修正了量綱的一個(gè)盒子容積的自然對(duì)數(shù)In（容積）。例如修正后的高實(shí) 際是（高尸在這種尺寸修正意義上，才給出龜甲為圓形形狀一說。圖8.3海龜數(shù)據(jù)的崖底碎石圖樣本主成分的解釋樣本主成分有幾種解釋。首先設(shè)X的真實(shí)分布接近N,

43、（u,E）。此時(shí)樣本主成分工= 是總體主成分K=e,'（X-|i）的一個(gè)實(shí)現(xiàn),后者服從NJ0,A）分布。對(duì)角陣A有 主對(duì)角元4,蒞，乙，而（入，七）是E的特征值-特征向量對(duì).利用樣本值、我們也可用反近似P而用S近似工 若S正定,則所有滿足（x 一 x）/S-）（x - x） = r（8-24）的。XI向量x所組成的等值輪廓線，估計(jì)出真實(shí)的正態(tài)密度的常數(shù)密度等值輪廓線-為顯示生成數(shù)據(jù)的正態(tài)分布，可以把這些近似的等值輪廓線繪制到散布圖上。正態(tài)性的假設(shè)，對(duì)8. 5節(jié)討論的推斷過程是有用的,但對(duì)研究在式（8-20）中 總結(jié)出的樣本主成分性質(zhì)，并不是必需的。即便在正態(tài)性假設(shè)很可疑，并且散布圖可能

44、偏離橢圓模式的時(shí)候,我們?nèi)钥蓮腟抽取 特征值并得到樣本主成分。從幾何上看，數(shù)據(jù)可繪成P維空間的個(gè)點(diǎn)，然后在新坐標(biāo)系 中表示出數(shù)據(jù)，這個(gè)新坐標(biāo)系和式（8-24）中等值輪廓線的坐標(biāo)軸重合?，F(xiàn)在，式（8-24）定 義一個(gè)超橢球，其中心在支而軸由S7的特征向量給出或者等價(jià)地由S的特征向量給出。 （見節(jié)2.3和結(jié)論4.1,取§代替£。）這些超橢球軸的長度與4=1,2，6成比例， 這里力?九%0是S的特征值。因?yàn)殚L度為1，第，個(gè)主成分的絕對(duì)值15，1 = 16'6 。|,給出向量（x-iO在單位 向量e上的投影。見式（2-8）和式（2-9）。于是，樣本主成分立=a'（x

45、-X）.f=l,2,，外 依著在超橢球的軸上它們的絕對(duì)值是x-x在軸e,方向上的投影的長度。因此，樣本主 成分可看作是將原坐標(biāo)系的原點(diǎn)變換到、，然后，再旋轉(zhuǎn)坐標(biāo)軸直到在最大方差的方向上 361 穿過散布線。樣本主成分在幾何學(xué)上的解料,對(duì)力=2由圖8.4給出。圖8.4（a）表明一個(gè)常數(shù)距離 的橢圓其中心在且有3友。這些樣本主成分被順利確定,它們依著橢圓軸線樣本方 差最大的兩個(gè)相應(yīng)垂直方向，圖8.4（b）表明常數(shù)距離橢圓,中心在心目有兀=人。此時(shí)常 數(shù)距離橢圓（一個(gè)圓周）的軸不是惟一確定的，可以沿著任何兩個(gè)相互垂直的方向,包括原 坐標(biāo)軸的方向。類似地,樣本主成分可沿著任何兩個(gè)垂直方向.包括原坐標(biāo)軸

46、的方向。當(dāng) 常數(shù)距離的輪廓線接近于圓，或等價(jià)地，當(dāng)S的特征值近似相等時(shí)，樣本方差在所有方向 上都是均勻的。這就不可能在維數(shù)比p維更小的空間里表示數(shù)據(jù)。圖8.4樣本主成分和常數(shù)密度橢圓如果后幾個(gè)特征值大充分小使得對(duì)應(yīng)。方向上的變差微不足道,那這后幾個(gè)樣本 主成分?？陕匀?，因而留下的成分就足可近似表達(dá)這批數(shù)據(jù)（見節(jié)& 4）。最后，在直接對(duì)均值中心化數(shù)據(jù)、,一、作近似時(shí)，補(bǔ)充8A對(duì)樣本主成分所起的作用 給出了進(jìn)一步結(jié)論e樣本主成分的標(biāo)準(zhǔn)化一般說來樣本主成分在尺度改變時(shí)不是不變的。（練習(xí)8. 2。）正如我們?cè)诳傮w成分 處理中提到的在不同尺度或在同一尺度但變化范圍極其不同時(shí)所測(cè)盾的變量，常常要標(biāo)

47、 準(zhǔn)化。例如，利用下述構(gòu)造完成標(biāo)準(zhǔn)化：（8 25）將觀測(cè)值標(biāo)準(zhǔn)化后的X/數(shù)據(jù)矩陣 362 （8-26）（8-27）和樣本協(xié)方差矩陣見式（3-27）s, - J-irz'Uz- J-irz|= -J-7（z - izy（z - iz）n 1= -zzn 1標(biāo)準(zhǔn)化觀測(cè)值的樣本主成分由式（8-20）給出，但要用矩陣R取代S。由于觀測(cè)值已經(jīng)由上 述構(gòu)造完成“中心化：因此不必將主成分寫成形如式（8-21）的形式. 363 如Z）.卻,z.是協(xié)方差矩陣為R的標(biāo)準(zhǔn)化觀測(cè)值,則第i個(gè)樣本主成分是 y, = e/z =+ et2z2 + - + 3/八i = 12戶其中是R的第，個(gè)特征值-特征向量對(duì)且人

48、&2兀0另有(8-29)樣本方差（50 =2 i =八2樣本協(xié)方差（丸，,）NOi手k此外（標(biāo)準(zhǔn)化）樣本總方差=tr（R）= pHii + & + +入且,“=虱 ，& = 1.2,，p利用式（8-29）,我們看到,由第i個(gè)樣本主成分解釋的樣本總方差的比例是第，個(gè)樣本主成分、解釋的（標(biāo)準(zhǔn)化）=j ，=1,2,，力（8-30）樣本方差所占的比例J一個(gè)運(yùn)驗(yàn)方法是只保留那些方差大于1的成分.或者等價(jià)地，只保留那些單獨(dú)能解釋至少 1/P總方差的成分。然而這個(gè)經(jīng)驗(yàn)準(zhǔn)則沒有多少理論支持,不應(yīng)肓目運(yùn)用。如我們已經(jīng)提 到過的，碎石圖對(duì)選擇合適的成分個(gè)數(shù)也是有用的。例8.5 （來自標(biāo)準(zhǔn)化

49、數(shù)據(jù)的樣本主成分）曾有人確定了紐約股票交易所的五只股票（阿萊德化學(xué)、杜邦、聯(lián)合碳化物、?？松?、 以及德士古）從1975年1月到1976年12月期間的周回報(bào)率。周回報(bào)率定義為（本周五收 盤價(jià)一上周五收盤價(jià)”上周五收盤價(jià)（有拆股和支付股息時(shí)進(jìn)行調(diào)整兀此數(shù)據(jù)列在本章 練習(xí)的表8. 4中。連續(xù)100周的觀測(cè)值表現(xiàn)出獨(dú)立分布，但是各股之間的回報(bào)率是相關(guān) 的，這正如人們預(yù)期的那樣，因?yàn)楣善备鶕?jù)總的經(jīng)濟(jì)狀況而有整體變動(dòng)的傾向。令©，12,，心分別表示阿萊德化學(xué)、杜邦、聯(lián)合碟化物、埃克森以及德士古的股票 周回報(bào)率的觀測(cè)值則T = 0. 0054,0. 0048,0. 0057,0. 0063,0.

50、0037ri.ooo0. 5770. 5090. 3870. 462r0. 5771.0000. 5990. 3890. 3220. 5090. 5991.0000.4360.4260. 3870. 3890.4361.0030.5230. 4620. 3220.4260.5231.000工i 五jtz x2了5 元 5*5 幾R(shí) =注意到R是標(biāo)準(zhǔn)化觀測(cè)值勺=的協(xié)方差矩陣（注意標(biāo)準(zhǔn)化的相關(guān)矩陣就是協(xié)方差矩陣譯者注）。R的特征值和相應(yīng) 的規(guī)范化特征向量，由計(jì)算機(jī)確定為A = 2. 857, A2 = 0. 809 9 A3 = 0, 540, 尢=0. 452 9 & = 0. 343,

51、 364 e/ = 0. 464,0.457,0. 470,0.421,0.421e； = 0. 240,0. 509,0. 260, - 0. 526, 一 0. 582e； = E- 0. 612.0.178,0. 335,0. 541, 一 0.435e/ = 0. 387,0. 206, - 0. 662,0. 472, 一 0. 382e/ = - 0. 451,0. 676, - 0.400, 0. 176,0.3851利用標(biāo)準(zhǔn)化變量，我們得到前兩個(gè)樣本主成分= e/z = 0. 464z1+ 0. 457% + 0. 470z3 + 0. 421z4 + 0. 421汽$2 =

52、0. 240z1+ 0. 50922 + 0. 2605 0. 526為-0< 582%這些主成分所解釋的標(biāo)準(zhǔn)化樣本總方差所占比例為100% =2. 857 + 0. 809X 100% = 73%對(duì)它們有有趣的解稀，粗略地說第一主成分是五種股票的等權(quán)的和，或等權(quán)的“指數(shù): 這 個(gè)成分可稱為股市總成分,或簡稱為市場成分。第二成分表明在化工類股票（阿萊德化學(xué)、杜邦及聯(lián)合碳化物）和石油類股票（?？松?和德士古）之間形成鮮明對(duì)照?？煞Q它是一個(gè)行業(yè)成分。這樣，我們看到這些股票回報(bào)率 中的大部分變差歸因于市場活動(dòng)和不相關(guān)的行業(yè)活動(dòng)。股票價(jià)格運(yùn)動(dòng)的這一闡述,也為金 （King）12所提出過。其余成分

53、不易解釋，總的說來它們大約代表各只股票的特別變差。不管怎樣，它們對(duì) 樣本總方差都不給出多少解釋。在本例的情況下，保留相應(yīng)特征值小于1的成分（%）是明智的。例86 （來自有特殊結(jié)構(gòu)的相關(guān)矩陣的成分）遺傳學(xué)常常涉及特征遺傳，對(duì)這些特征可在動(dòng)物的生命周期內(nèi)做數(shù)次測(cè)量。對(duì)= 150只雌鼠，在它們生下前4只幼鼠后都立即稱出雌鼠的體重（單位克）。樣本均值向量 和樣本相關(guān)矩陣分別為胃=39. 88,45.08,48.11,49.9511.0000. 75010. 6329.0. 63630. 75011.0000. 69250. 73860. 63290. 69251.0000. 66250. 6363一0

54、. 73860. 66251.000 -該矩陣的特征值是 = 3. 085, & = 0. 382, & = 0. 342 和&=0. 217我們注意到第一個(gè)特征值近似等于1 + （/>-1）7=l + （4-l）XO. 6854 = 3. 056,其中f是 R中非對(duì)角元的算術(shù)平均值。余下的特征值都很小并且差不多相等，雖然九比右和人更 小一點(diǎn)。這樣就有證據(jù)說,對(duì)應(yīng)的總體相關(guān)矩陣p可以是式（8-15）的“等相關(guān)”形式。這一 概念在例8.9將進(jìn)一步探討. 數(shù)據(jù)經(jīng)J.J拉特利奇（Rutledge）許可使用。 365 第一主成分yx = e/z = 0. 49Z| + 0. 52z? + 0. 49*3 + 0 50z«所解釋的總方差占100（%"）% = 100X（3.058/4）% = 76%。雖然平均產(chǎn)后體重隨時(shí)間 增加，有（近似）相等系數(shù)的第一主成分仍然相當(dāng)清楚地解釋了體重上的變差。評(píng)注從樣本方差或是從相關(guān)矩陣得到的最后一個(gè)特征值,若特別小它可能顯露出 數(shù)據(jù)集合中一個(gè)未被注意到的相依性。若真出現(xiàn)這種情況，一個(gè)或多個(gè)變量是多余的應(yīng) 該除去。考慮這一個(gè)情況：4，心和亞是測(cè)驗(yàn)得分，總成績兌=力+4+/3。此時(shí)，雖然線 性組合©& = 1,1，1,-1n=斗+皿+4 一n總是零，但計(jì)算特征值