主成分分析在數(shù)學(xué)建模中的應(yīng)用朱 寧2012年11月13日學(xué)習(xí)目的理解主成分分析的根本思想；會用SAS軟件編寫相關(guān)程序，對相關(guān)數(shù)據(jù)進展主成分分析；會用SAS軟件編程結(jié)合主成分分析方法解決實際問題。學(xué)習(xí)要求理解主成分分析的根本原理，把握主成分分析的根本步驟；會用SAS軟件編寫相關(guān)程序，對相關(guān)數(shù)據(jù)進展分析處理和假設(shè)檢驗；3000字的小論文；精讀一篇優(yōu)秀論文。理論根底1析就是在這種降維的思想下產(chǎn)生的處理高維數(shù)據(jù)的方法。根本原理〔1〕.總體的主成分定義1.XXX1

,…,X2

)”為PZi

aX為X的第i主成分ii=1,2P，假設(shè)：a”a

ii當(dāng)i>1時，a” ai j

0(j1,2,…i-1);Var(Z)

max Var(a”X)i a”a1,a”aj

定理1.XX1X2,…,Xp)”是P維隨機向量，且DX)的特征值為…0，a,a,…,a

為相應(yīng)的單位正交特征向量，則Xi主成分為1 2 p 1 2 pZa”X i1,,,p).i i定義2.我們稱k

/

為主成分Z

的奉獻率；又稱

/k

為主成分ii1 k1 i1Z,…Z (m p))，diag(,…

)1 m ij 12 p

為aa

,…,a

是相應(yīng)的單位正交特征向量，記正交矩陣1 2 p 1 2 pA(a,a

,…,a

ZZ

)”Z

a”(i1,2,…,p).則總體主成分有如1 2 p 1 p i i下的性質(zhì)：1.D(Z)，即P個主成分的方差為：Var(Zi互不相關(guān)的。

)i

(i1,2,…,p，且它們是性質(zhì)2.

ii

，通常稱i

為X的總方差〔或稱總慣量。iii1 i1 i13.主成分Zk

Xi

的相關(guān)系數(shù)(Ziiii

X為i(Zk

,X) a i k ik

(ki1,2p )并把主成分Zk

Xi

的相關(guān)系數(shù)稱為因子負荷量。

p2(

,X)pa2k ik

1(i1,2,…,p。k i 5.令

pi1

2(Z

,X)i

(k1,2,…,p).EXi

)，Var(Xi

)2，即iX*X

E(X

)Xi

i1,,,p)ii iiiVar(X)iiX*X*,X*,…X*)”iVar(X)ii1 2 pRR動身求主成分，記主成分向量為Z*

Z*,…Z*)”Z*有與總體主成分相應(yīng)的性質(zhì)：1.D(Z**

diag(**,…*，其中*

1

p…*R的特征值。

1 2 p

1 2 p性質(zhì)2.pii1

p.3.主成分Z*X*的相關(guān)系數(shù)(Z*,X*為k i k k(Z*,X*) *a* (ki1,2p)k k k ik其中a*

(a*

,…,a*

)”R對應(yīng)于*的單位正交特征向量。k性質(zhì)4.

1k pk 2(Z*,X*)p*(a*)2

1 (i1,2,…,p)

k k k ik性質(zhì)5.

2(Z*,X*)

*(a*)2

* (k1,,,p)k k2.樣本的主成分

k ik k1.X,X,…,Xn次觀測數(shù)據(jù)陣X1 2 p樣本相關(guān)陣R，且1Rn11

X”X(rij

)ppR

0aa

,…,a

1 2 pZj

1 2 pa”X (j1,,,p)j類似總體主成分，樣本主成分也具有如下的性質(zhì)：1.Z

1nn

Z

(z1

p

)”0〔由于X0，而Z”Z

0,

當(dāng)ij,i j (n1) 當(dāng)i=j.i上式說明當(dāng)ij時，第i個主成分得分向量Zj個主成分得分向量Z是相互正交的。i jp

…+

i1

p。稱k為樣本主成分Zi p

的奉獻率；又稱1p

m為樣本主成分Z,…,Z1

(mp的累計奉獻率。性質(zhì)3.樣本主成分具有是殘差平方和最小的優(yōu)良性。根本步驟xx⑴數(shù)據(jù)標準化ij

ij S

, (i1,2,n;j1,2pS為第j列的方j(luò)j差；R；IR0求出按大小排列特征值

以及相應(yīng)的特征向量e ；j j⑷選擇前幾個特征向量，確定主成分；根本命令主成分分析，其主要語句格式如下：Procprincomp <選項列表>；Var變量列表；Run；1〕Procprincomp功能如下：數(shù)據(jù)集。②out=2：命名一個輸出SAS數(shù)據(jù)集，其中包含原始數(shù)據(jù)以及各主成分得分〔即各主成分的觀測值。SAS數(shù)據(jù)集。④covariance(cov)：要求從協(xié)方差矩陣動身作主成分分析，假設(shè)省略此選項，式的標準化，否則不宜使用此選項，應(yīng)從相關(guān)矩陣動身作主成分分析。⑤N=n：指定要計算的主成分的個數(shù)，其默認值為參與分析的變量的個數(shù)。⑥prefix=nameSAS系統(tǒng)自動賜予各主成分名稱分別為prin1,prin2,??；假設(shè)“name=A1，A28個字符?！?〕VARvariables;此句中的“variables”局部列出數(shù)據(jù)集中參與主成分分析的變量名稱。假設(shè)省略此句，則被分析數(shù)據(jù)集中全部數(shù)值變量均參與分析。舉例1】(中學(xué)生身體四項指標的主成分分析)在某中學(xué)隨機抽取某年級30生，測量其身高〔X1、體重〔X2、胸圍〔X3〕和坐高〔X4〔數(shù)據(jù)見教材P2777.4。試對這30datad721;cards;inputnumberx1-x4@@;cards;1148417278213934717631604977864149366779515945808661423166767153437683815043777991514277801013931687414029647412161477884158497883141403367771373166731615235737914947827918145357077160477487201564478851514273822214738737815739688024147306575157488088261513674801443668762814130677613932687330148387078;varx1-x4;procprincompdata=d721prefix=zout=o721;varx1-x4;runrun;procplotdata=o721;optionsps=32procplotdata=o721;plotz2*z1$number=”*”/href=-1href=2vref=0;runrun;procprocsortdata=o721;bybyz1;runrun;varnumberz1z2varnumberz1z2x1-x4;runrun;quitquit;過程由相關(guān)陣動身進展主成分分析。由下面的相關(guān)陣來看，〔也就是說用較96.36%，因此只需用兩個主成分就能很好地概括這組數(shù)據(jù)。另由第四個特征值近似為此只需用兩個主成分就能很好地概括這組數(shù)據(jù)。另由第四個特征值近似為0，可Z0.496966X*Z0.496966X*0.514571X*0.480901X*0.506928X*1 1 2 3 4Z 0.543213X*0.210246X*0.724621X*0.368294X*2 1 2 3 40.5四周，而且都是正值，它反映學(xué)生的魁梧程度。44從其次主成分得分對第一主成分得分的散布圖看，很直觀地看出，按學(xué)生30名學(xué)生大約分三組〔以第一主成分得分值為-12為從其次主成分得分對第一主成分得分的散布圖看，很直觀地看出，按學(xué)生30名學(xué)生大約分三組〔以第一主成分得分值為-12為分界點〕。每一組包括哪幾名學(xué)生可由每一給散點旁邊的序號可以得知。訓(xùn)練題1138表1 某市工業(yè)部門13個行業(yè)8項指標的數(shù)據(jù)全員勞動百元固定能源利用年末固定工業(yè)總產(chǎn)資金利稅標準燃料職工人數(shù)產(chǎn)率原資產(chǎn)值效果資產(chǎn)凈值值率消費量〔人〕〔元/人實現(xiàn)產(chǎn)值〔萬元/〔萬元〕〔萬元〕〔％〕〔噸〕年〕〔元〕噸〕1(冶金)90342524551010911927282.00016.1001974350.1722(電力)4903197320351031334.2007.1005920770.0033(煤炭)6735211393767178036.1008.2007263960.0034(化學(xué))4945436241815572250498.10025.9003482260.9855(機械)1391902035052158981060993.20012.6001395720.6286(建材)122151621910351638262.5008.7001458180.0667(森工)23726572810312329184.40022.200209210.1528(食品)11062230785493523804370.40041.000654860.2639(紡織)17111239075210821796221.50021.500638060.27610(縫紉)12063930612615586330.40029.50018400.43711(皮革)21505704620010870184.20012.00089130.27412(造紙)525161551038316875146.40027.500787960.15113(文教藝術(shù)用1434113203193961469194.60017.80063541.574品)〔綜合變量15％，應(yīng)取幾個主成分；并對這幾個主成分進展解釋；利用主成分得分對13個行業(yè)進展排序和分類。83對所選取的主成分作出解釋。變量企業(yè)號凈產(chǎn)值利潤率固定資產(chǎn)利潤變量企業(yè)號凈產(chǎn)值利潤率固定資產(chǎn)利潤總產(chǎn)值利潤率銷售收入利潤產(chǎn)品成本利潤物耗利潤率人均利潤率流淌資金利潤率率率率140.424.77.26.18.38.72.44220.0225.012.711.211.012.920.23.5429.1313.23.33.94.34.45.50.5783.6422.36.75.63.76.07.40.1767.3534.311.87.17.18.08.91.72627.5635.612.516.416.722.829.33.01726.6722.07.89.910.212.617.60.84710.6848.413.410.99.910.913.91.77217.8940.619.119.819.029.739.62.44935.81024.88.09.88.911.916.20.78913.71112.59.74.24.24.66.50.8743.9121.80.60.70.70.81.10.0561.01332.313.99.48.39.813.32.12617.11438.59.111.39.512.216.41.32711.6【模型一】美國各種類型犯罪的主成分模型〔1數(shù)據(jù)進展主成分分析，并分析犯罪特征。1：美國各個州的各種類型犯罪率數(shù)據(jù)MurderRapeRobberyAssaultBurglaryLarcenyAutoALABAMA14.225.296.8278.31135.51881.9280.7ALASKA10.851.696.8284.01331.73369.8753.3ARIZONA9.534.2138.2312.32346.14467.4439.5ARKANSAS8.827.683.2203.4972.61862.1183.4CALIFORNIA11.549.4287.0358.02139.43499.8663.5COLORADO6.342.0170.7292.91935.23903.2477.1CONNECTICUT4.216.8129.5131.81346.02620.7593.2DELAWARE6.024.9157.0194.21682.63678.4467.0FLORIDA10.239.6187.9449.11859.93840.5351.4GEORGIA11.731.1140.5256.51351.12170.2297.9HAWAII7.225.5128.064.11911.53920.4489.4IDAHO5.519.439.6172.51050.82599.6237.6ILLINOIS9.921.8211.3209.01085.02828.5528.6INDIANA7.426.5123.2153.51086.22498.7377.4IOWA2.310.641.289.8812.52685.1219.9KANSAS6.622.0100.7180.51270.42739.3244.3KENTUCKY10.119.181.1123.3872.21662.1245.4LOUISIANA15.530.9142.9335.51165.52469.9337.7MAINE2.413.538.7170.01253.12350.7246.9MARYLAND8.034.8292.1358.91400.03177.7428.5MASSACHUSETTS3.120.8169.1231.61532.22311.31140.1MICHIGAN9.338.9261.9274.61522.73159.0545.5MINNESOTA2.719.585.985.81134.72559.3343.1MISSISSIPPI14.319.665.7189.1915.61239.9144.4MISSOURI9.628.3189.0233.51318.32424.2378.4MONTANA5.416.739.2156.8804.92773.2309.2NEBRASKA3.918.164.7112.7760.02316.1249.1NEVADA15.849.1323.1355.02453.14212.6559.2NEWHAMPSHIRE3.210.723.276.01041.72343.9293.4NEWJERSEY5.621.0180.4185.11435.82774.5511.5NEWMEXICO8.839.1109.6343.41418.73008.6259.5NEWYORK10.729.4472.6319.11728.02782.0745.8NORTHAROLINA10.617.061.3318.31154.12037.8192.1NORTHDAKOTA0.99.013.343.8446.11843.0144.7OHIO7.827.3190.5181.11216.02696.8400.4OKLAHOMA8.629.273.8205.01288.22228.1326.8OREGON4.939.9124.1286.91636.43506.1388.9PENNSYLVANIA5.619.0130.3128.0877.51624.1333.2RHODEISLAND3.610.586.5201.01489.52844.1791.4SOUTHCAROLINA11.933.0105.9485.31613.62342.4245.1SOUTHDAKOTA2.013.517.9155.7570.51704.4147.5TENNESSEE10.129.7145.8203.91259.71776.5314.0TEXAS13.333.8152.4208.21603.12988.7397.6UTAH3.520.368.8147.31171.63004.6334.5VERMONT1.415.930.8101.21348.22201.0265.2VIRGINIA9.023.392.1165.7986.22521.2226.7WASHINGTON4.339.6106.2224.81605.63386.9360.3WESTVIRG