統(tǒng)計學(xué)第12章聚類分析

現(xiàn)實是復(fù)雜的，是絕對不可能由一個有組織的科學(xué)模型完全描述出來的。

——ThomasKuhn統(tǒng)計名言第12章聚類分析第12章聚類分析12.1

聚類分析的基本原理12.2層次聚類12.3K-均值聚類

第12章聚類分析學(xué)習(xí)目標聚類分析的基本思想和原理層次聚類和K-均值聚類的基本過程解釋聚類的結(jié)果層次聚類和K-均值聚類的差異及應(yīng)用條件聚類分析的注意事項用SPSS進行聚類分析第12章聚類分析怎樣把消費者分類？南京雅興市場研究有限公司在A城市的14個城區(qū)抽取3000個15歲以上具有獨立購買能力的消費者樣本，研究消費者的生活方式。調(diào)查中采用一系列關(guān)于對社會活動、價值觀念等內(nèi)容的陳述，請消費者根據(jù)自己的情況做出評價。評價結(jié)果采用7分評價法，1分表示“非常同意”，7分表示“非常不同意”對調(diào)查結(jié)果先通過因子分析將一系列的測試語句進行綜合，根據(jù)消費者的回答情況，將這些語句分為幾大類，最后得到5個主要因子，它們的含義分別是：對時尚的觀點、個人的事業(yè)性與進取性、對經(jīng)濟利益的看法、社交能力與影響力、生活的計劃性。根據(jù)因子分析的結(jié)果對樣本的回答按照新的類型進行重新評估打分，然后根據(jù)這些評價進行聚類分析根據(jù)每一類消費者的因子的特征，最終將消費者的生活方式分為6個類別，即：時尚型、自保型、領(lǐng)袖型、上進型、迷茫型(缺乏生活目標型)和平庸型第12章聚類分析怎樣把消費者分類？時尚型：這類消費者約占樣本量的約21%，主要特征為：年齡相對較輕，平均年齡在35歲左右，教育程度相對較高，一般具有高中以上文化程度，雖然平均家庭月收入較好，平均在2200元左右，同時也是分散程度最高的，表明喜愛時尚并不是高收入者的專利。這一類型中的三資企業(yè)員工的比例最大，未婚的比例較大，約占1/4，女性的比例為55%，高于男性自保型：這類消費者占16%，他們更多的是為自己的生計考慮，考慮自己能否有穩(wěn)定的經(jīng)濟來源，維持家庭的經(jīng)濟保障是他們最關(guān)心的問題。這些人的平均受教育程度較低，中年人的比例較高，平均年齡在44歲左右，家庭月收入較低，平均在1600元左右，國營企業(yè)員工以及離退休人員的比例較高。女性的比例高于男性領(lǐng)袖型：這類消費者占13%。教育程度處于社會平均水平，主要為中年人，有較多的生活閱歷，年齡多在45-54歲之間。家庭月平均收入一般在1800元左右。在職業(yè)上沒有顯著特征。已婚比例是各類消費者中最高的，這似乎表明有穩(wěn)定的家庭也是成為領(lǐng)袖的一個條件。男性比例占55%，高于女性第12章聚類分析怎樣把消費者分類？上進型：占消費者總?cè)藬?shù)的不到13%。他們對生活的態(tài)度積極，多為未婚青年，平均年齡在28歲左右，25歲以下的占40%，單身未婚的比例占1/2以上。職業(yè)上的顯著特征是：1/3為學(xué)生，三資企業(yè)員工的比例達1/10。男性的比例高于女性。這類消費者是受教育程度最高的，他們的平均家庭收入?yún)s是最高的，月平均收入在2300元左右迷茫(缺乏生活目標)型：約占15%，他們既不注重經(jīng)濟保障，也不參加培訓(xùn)，生活節(jié)奏較緩慢。這類消費者主要為退休人員，約占該類型人員的2/3，剩下的主要為國營企業(yè)員工。平均年齡在50歲以上，他們的教育程度是最低的，家庭收入也是最低的，平均不到1600元。在性別分布上，女性的比例遠遠高于男性，占62%平庸型：這類消費者約占23%，最大的特點是生活沒有計劃，日常生活沒有規(guī)律，而其他指標則均處于中間狀態(tài)。這類消費者在年齡上比較分散，從15歲到54歲之間的各年齡段均有相當比例，平均教育程度一般，家庭月平均收入在1900元左右。在職業(yè)上沒有顯著特征，但待崗人員的比例稍高于其他各類型。在性別上，男性稍高于女性第12章聚類分析在現(xiàn)實生活中，分類問題是十分常見的根據(jù)經(jīng)濟發(fā)展水平把各個國家分成發(fā)達國家、中等發(fā)達國家、發(fā)展中國家按照消費者的特征對消費者分類，按照產(chǎn)品特征對產(chǎn)品分類這些分類中，有的事先并不知道存在什么類別，完全按照反映對象特征的數(shù)據(jù)把對象進行分類，這在統(tǒng)計上稱為聚類分析；有的則是在事先有了某種分類標準之后，判定一個新的研究對象應(yīng)該歸屬到哪一類別，這在統(tǒng)計上則稱為判別分析(discriminantanalysis)本章主要介紹聚類分析方法聚類分析

(clusteranalysis)第12章聚類分析12.1聚類分析的基本原理

12.1.1什么是聚類分析?12.1.2相似性的度量第12章聚類分析第12章聚類分析12.1.1什么是聚類分析？12.1聚類分析的思想和原理第12章聚類分析把“對象”分成不同的類別這些類不是事先給定的，而是直接根據(jù)數(shù)據(jù)的特征確定的把相似的東西放在一起，從而使得類別內(nèi)部的“差異”盡可能小，而類別之間的“差異”盡可能大聚類分析就是按照對象之間的“相似”程度把對象進行分類什么是聚類分析？

(clusteranalysis)第12章聚類分析聚類分析的“對象”可以是所觀察的多個樣本，也可以是針對每個樣本測得的多個變量按照變量對所觀察的樣本進行分類稱為Q型聚類按照多項經(jīng)濟指標(變量)對不同的地區(qū)(樣本)進行分類按照樣本對多個變量進行分類，則稱為R型聚類按照不同地區(qū)的樣本數(shù)據(jù)對多個經(jīng)濟變量進行分類兩種聚類沒有什么本質(zhì)區(qū)別，實際中人們更感興趣的通常是根據(jù)變量對樣本進行分類(Q型聚類)什么是聚類分析？

(兩種分類方式)第12章聚類分析按對象的“相似”程度分類根據(jù)樣本的觀測數(shù)據(jù)測度變量之間的相似性程度可以使用夾角余弦、Pearson相關(guān)系數(shù)等工具，也稱為相似系數(shù)變量間的相似系數(shù)越大，說明它們越相近根據(jù)變量來測度樣本之間的相似程度則使用“距離”把離得比較近的歸為一類，而離得比較遠的放在不同的類什么是聚類分析？

(按什么分類)第12章聚類分析12.1.2相似性的度量12.1聚類分析的思想和原理第12章聚類分析聚類分析中是用“距離”或“相似系數(shù)”來度量對象之間的相似性在第13章例13.1中，31個地區(qū)的人均GDP數(shù)據(jù)就是直線上的31個點，每一個點對應(yīng)一個地區(qū)如果按照人均GDP對它們進行分類，就可以把在直線上離得比較近的那些點歸為一類。如果再考慮財政收入，那么人均GDP和財政收入就是二維平面上的一個點，31個地區(qū)就是平面中的31個點多個變量就是高維空間中的一個點，31個地區(qū)就是高維空間中的31個點各個點之間距離的遠近就是分類的依據(jù)相似性的度量第12章聚類分析在對樣本進行分類時，度量樣本之間的相似性使用點間距離點間距離的計算方法主要有歐氏距離(Euclideandistance)平方歐氏距離(SquaredEuclideandistance)Block距離(Blockdistance)Chebychev距離(Chebychevdistance)馬氏距離(Minkovskidistance)最常用的是平方歐氏距離相似性的度量

(樣本點間距離的計算方法)第12章聚類分析相似性的度量

(樣本點間距離的計算方法)Euclidean距離SquaredEuclidean距離Block距離Chebychev距離Minkovski距離第12章聚類分析在對變量進行分類時，度量變量之間的相似性常用相似系數(shù)，測度方法有相似性的度量

(變量相似系數(shù)的計算方法)

夾角余弦

Pearson相關(guān)系數(shù)

第12章聚類分析12.2層次聚類

12.2.1層次聚類的兩種方式

12.2.2類間距離的計算方法

12.2.3層次聚類的應(yīng)用第12章聚類分析第12章聚類分析12.2.1層次聚類的兩種方式12.2層次聚類第12章聚類分析層次聚類又稱系統(tǒng)聚類事先不確定要分多少類，而是先把每一個對象作為一類，然后一層一層進行分類根據(jù)運算的方向不同，層次聚類法又分為合并法和分解法，兩種方法的運算原理一樣，只是方向相反層次聚類

(hierarchicalcluster)第12章聚類分析將每一個樣本作為一類，如果是k個樣本就分k成類按照某種方法度量樣本之間的距離，并將距離最近的兩個樣本合并為一個類別，從而形成了k-1個類別再計算出新產(chǎn)生的類別與其他各類別之間的距離，并將距離最近的兩個類別合并為一類。這時，如果類別的個數(shù)仍然大于1，則繼續(xù)重復(fù)這一步，直到所有的類別都合并成一類為止總是先把離得最近的兩個類進行合并合并越晚的類，距離越遠事先并不會指定最后要分成多少類，而是把所有可能的分類都列出，再視具體情況選擇一個合適的分類結(jié)果層次聚類

(合并法)第12章聚類分析分解方法原理與合并法相反先把所有的對象(樣本或變量)作為一大類，然后度量對象之間的距離或相似程度，并將距離或相似程度最遠的對象分離出去，形成兩大類(其中的一類只有一個對象)再度量類別中剩余對象之間的距離或相似程度，并將最遠的分離出去，不斷重復(fù)這一過程，直到所有的對象都自成一類為止SPSS中只提供了合并法層次聚類

(分解法)第12章聚類分析12.2.2類間距離的計算方法12.2層次聚類第12章聚類分析在層次聚類法中，當類別多于1個時，就涉及到如何定義兩個類別之間的距離問題計算類間距離(與上面介紹的點間距離不同)的方法有很多，不同方法會得到不同的聚類結(jié)果實際中較常用的是離差平方和法(Ward’smethod)，又稱Ward法類間距離的計算方法第12章聚類分析類間距離的計算方法最短距離法(Nearestneighbor)

最長距離法(Furthestneighbor)

重心法(Centroidclustering)組間平均距離(Between-groupslinkage)離差平方和法(Ward’smethod)第12章聚類分析Nearestneighbor(最短距離法)—用兩個類別中各個數(shù)據(jù)點之間最短的那個距離來表示兩個類別之間的距離Furthestneighbor(最長距離法)—用兩個類別中各個數(shù)據(jù)點之間最長的那個距離來表示兩個類別之間的距離Centroidclustering(重心法)—用兩個類別的重心之間的距離來表示兩個類別之間的距離between-groupslinkage(組間平均距離法)—SPSS的默認方法。是用兩個類別中間各個數(shù)據(jù)點之間的距離的平均來表示兩個類別之間的距離Ward‘smethod(離差平方和法)—使各類別中的離差平方和較小，而不同類別之間的離差平方和較大類間距離的計算方法第12章聚類分析12.2.3層次聚類的應(yīng)用12.2層次聚類第12章聚類分析【例】根據(jù)我國31個省市自治區(qū)2006年的6項主要經(jīng)濟指標數(shù)據(jù)，采用層次聚類法進行分類，并對結(jié)果進行分析層次聚類的應(yīng)用

(實例分析)

31個地區(qū)的6項經(jīng)濟指標第12章聚類分析用SPSS進行層次聚類第1步選擇【Analyze】下拉菜單，并選擇【Classify-HierarchicalCluster】，進入主對話框第2步

將用于聚類的所有變量選入【Variable(s)】；把區(qū)分樣本的標簽(本例為“地區(qū)”)選入【LabelCasesby】；若對樣本進行聚類，在【Cluster】下選擇【Cases】(本例選擇對樣本聚類)，若對變量進行聚類，在

【Cluster】下選擇【Variables】第3步點入【Statistics】選中【Agglomerationschedule】，點擊【Continue】回到主對話框第4步點入【Plots】選中【Dendrogram】，點擊

【Continue】回到主對話框第12章聚類分析用SPSS進行層次聚類第5步

點入【Method】，在【ClusterMethod】中選擇類間距離的定義方法(本例選擇Ward’smethod)；在【Measure】下選擇點間距離的定義方法(本例使用SquaredEuclideandistance)；在【TransformValues】的【Standardize】框中選擇否對原始數(shù)據(jù)進行標準化處理(本例選擇了【Zscores】)。點擊【Continue】回到主對話框第6步

點入【Save】，在【ClusterMembership】下選擇在原始數(shù)據(jù)中保留分類結(jié)果，其中【Singlesolution】表示指定要分成類時各樣本所屬的類，【Rangeofsolution】表示指定要分成最少類、最多類時各樣本所屬的類(SPSS會將分類的結(jié)果以變量形式保存到原數(shù)據(jù)窗口中)，點擊【Continue】

【OK】

用SPSS進行層次聚類第12章聚類分析SPSS的輸出結(jié)果

(實例分析)層次聚類過程的步驟號

第12章聚類分析SPSS的輸出結(jié)果

(實例分析)

層次聚類過程的步驟號

第1列是聚類的步驟號。第2列和第3列給出了每一步被合并的對象(這里是地區(qū))首先把31個地區(qū)各自作為一類(共有31類)。第1步是把距離最近的兩個地區(qū)21(海南)和地區(qū)30(寧夏)合并成一類。在后面的步驟中，對于包含多個樣本的新類別，實際上是用類中的一個樣本來代表該類別，比如，第2步被合并的是21和地區(qū)29(青海)，這里的“21”實際上是指在第1步中被合并的類別，只是用“21”表示21(海南)所在的類別第12章聚類分析SPSS的輸出結(jié)果

(實例分析)

層次聚類過程的步驟號

第4列給出每一步被合并的兩個類之間的聚類系數(shù)(即距離)。距離按從小到大排列，越早合并的類距離越近。0.013是地區(qū)21(海南)和地區(qū)30(寧夏)之間的距離，而0.040是先被合并的第一小類與地區(qū)29(青海)之間的距離第5列和第6列表示本步聚類中參與聚類的是原始的樣本還是已經(jīng)合并的小類，0表示本步聚類的是原始的樣本，第一次出現(xiàn)在聚類過程中，其他數(shù)字則表示第幾步聚類生成的小類參與了本步聚類。第7列給出了在每一步中合并形成的新類別下一次將在第幾步中與其他類別合并。例如，在第2步中，參與聚類的是第1步形成的小類(21號樣本所在的類)和地區(qū)29(青海)，第5列的“1”表示21號類是在第1步中形成的小類，而“0”表示地區(qū)29(青海)是第一次出現(xiàn)在本步聚類中的原始樣本，第7列中的“10”表示這一類將在第10步中與其他類別合并，其余類推第12章聚類分析ClusterMembership分成2類到5類時各地區(qū)所屬的類別第12章聚類分析層次聚類的樹狀圖

分成兩類

分成四類

最大距離作為相對距離25，其余的距離都換算成與之相比的相對距離大小

cut第12章聚類分析層次聚類的應(yīng)用

(分類匯總)類別

地區(qū)地區(qū)個數(shù)第一類北京，天津，上海3第二類河北，遼寧，安徽，福建，河南，湖北，湖南，四川8第三類山西，內(nèi)蒙古，吉林，黑龍江，江西，廣西，海南，重慶，貴州，云南，西藏，陜西，甘肅，青海，寧夏，新疆

16第四類江蘇，浙江，山東，廣東

4第12章聚類分析使用SPSS中的Means過程

(計算分類統(tǒng)計量)注意

使用Means過程時可直接在聚類分析的數(shù)據(jù)中進行，數(shù)據(jù)表中應(yīng)包括SPSS以變量名CLU5_1、CLU4_1、

CLU3_1、CLU2_1等保存的結(jié)果，然后按下列步驟操作第一步

選擇【Analyze】下拉菜單，并選擇

【CompareMeans-Means】

主對話框第二步將用于描述的所有變量選入【Dependentlist】，把地區(qū)所屬的類別號變量選入【Independentlist】第三步點擊【Options】并選擇所需要的統(tǒng)計量，點擊

【Continue】

主對話框

【OK】

使用SPSS的Means過程第12章聚類分析層次聚類的應(yīng)用

(類別檢驗)各類別所屬地區(qū)的描述統(tǒng)計量第12章聚類分析層次聚類的應(yīng)用

(類別檢驗)不同類別6項經(jīng)濟指標的方差分析表

方差分析第12章聚類分析層次聚類的應(yīng)用

(雷達圖)將各類別的均值標準化后繪制的雷達圖觀察類別劃分的合理性,比較類別之間的相似性第12章聚類分析12.3K-均值聚類

12.3.1K-均值聚類的基本過程

12.3.2K-均值聚類的應(yīng)用

12.3.3使用聚類方法的注意事項第12章聚類分析第12章聚類分析層次聚類事先不需要確定要分多少類，聚類過程一層層進行，最后得出所有可能的類別結(jié)果，研究這根據(jù)具體情況確定最后需要的類別。該方法可以繪制出樹狀聚類圖，方便使用者直觀選擇類別，但其缺點是計算量較大，對大批量數(shù)據(jù)的聚類效率不高K-均值聚類事先需要確定要分的類別數(shù)據(jù)，計算量要小得多，效率比層次聚類要高，也被稱為快速聚類(quickcluster)K-均值聚類

(K-meanscluster)第12章聚類分析12.3.1K-均值聚類的基本過程12.3K-均值聚類第12章聚類分析第1步：確定要分的類別數(shù)目K需要研究者自己確定在實際應(yīng)用中，往往需要研究者根據(jù)實際問題反復(fù)嘗試，得到不同的分類并進行比較，得出最后要分的類別數(shù)量第2步：確定K個類別的初始聚類中心要求在用于聚類的全部樣本中，選擇K個樣本作為K個類別的初始聚類中心與確定類別數(shù)目一樣，原始聚類中心的確定也需要研究者根據(jù)實際問題和經(jīng)驗來綜合考慮使用SPSS進行聚類時，也可以由系統(tǒng)自動指定初始聚類中心K-均值聚類

(步驟)第12章聚類分析第3步：根據(jù)確定的K個初始聚類中心，依次計算每個樣本到K個聚類中心的距離歐氏距離，并根據(jù)距離最近的原則將所有的樣本分到事先確定的K個類別中第4步：根據(jù)所分成的K個類別，計算出各類別中每個變量的均值，并以均值點作為新的K個類別中心。根據(jù)新的中心位置，重新計算每個樣本到新中心的距離，并重新進行分類K-均值聚類

(步驟)第12章聚類分析第5步：重復(fù)第4步，直到滿足終止聚類條件為止迭代次數(shù)達到研究者事先指定的最大迭代次數(shù)(SPSS隱含的迭代次數(shù)是10次)新確定的聚類中心點與上一次迭代形成的中心點的最大偏移量小于指定的量(SPSS隱含的是0.02)K-均值聚類法是根據(jù)事先確定的K個類別反復(fù)迭代直到把每個樣本分到指定的里類別中。類別數(shù)目的確定具有一定的主主觀性，究竟分多少類合適，需要研究者對研究問題的了解程度、相關(guān)知識和經(jīng)驗K-均值聚類

(步驟)第12章聚類分析12.3.2K-均值聚類的應(yīng)用12.3K-均值聚類第12章聚類分析【例】根據(jù)我國31個省市自治區(qū)2006年的6項主要經(jīng)濟指標數(shù)據(jù)，采用層次聚類法進行分類，并對結(jié)果進行分析K-均值聚類的應(yīng)用

(實例分析)

31個地區(qū)的6項經(jīng)濟指標第12章聚類分析

數(shù)據(jù)檢查若原始變量取值差異較大，應(yīng)先將原始數(shù)據(jù)進行標準化，避免變量值差異過大對分類結(jié)果的影響可以先觀察6項經(jīng)濟指標的有關(guān)描述統(tǒng)計量

K-均值聚類的應(yīng)用

(實例分析)第12章聚類分析

數(shù)據(jù)標準化(SPSS)【Analyze】

【DescriptiveStatistics】

【Descriptives】

主對話框?qū)⑿枰獦藴驶淖兞窟x入【Variable(s)】

【Savestandardizedvaluesasvariables】

【OK】K-均值聚類的應(yīng)用

(實例分析)

31個地區(qū)的6項經(jīng)濟指標的標準化第12章聚類分析K-均值聚類的應(yīng)用

(實例分析)分成4類的初始聚類中心

該表列出每一類別的初始聚類中心，本例的這些中心是由SPSS自動生成的，它實際上就是數(shù)據(jù)集中的某一條記錄。聚類中心的選擇原則是中心點距離其他點盡可能遠。例如，第一類的聚類中心是3.17960，這實際上就是上海的人均GDP標準化后的值。第二類聚類中心是1.83293則是天津的標準化人均GDP，等等第12章聚類分析K-均值聚類的應(yīng)用

(實例分析)分成4類的迭代過程

該表從表中可以看出每次迭代過程中類別中心的變化，隨著迭代次數(shù)的增加，類別中心點的變化越來越小。本例只4次就已經(jīng)收斂了第12章聚類分析K-均值聚類的應(yīng)用

(實例分析)分成4類的最終聚類中心

表中的數(shù)據(jù)表示各個類別在各變量上的平均值。如，第一類的2.88521表示被分到第一類的地區(qū)(北京和上海)標準化后的人均GDP平均值第12章聚類分析K-均值聚類的應(yīng)用

(實例分析)分類后各個變量在類別之間的方差分析表

利用方差分析表可以判斷所分的類別是否合理。從表中可以看出，分類后各變量在不同類別之間的差異都是顯著的(P值均接近0)第12章聚類分析K-均值聚類的應(yīng)用

(實例分析)分成4類時每一類的地區(qū)數(shù)量

由該表可以看出，第一類包括2個地區(qū)，第二類包括11個地區(qū)，第三類包括4個地區(qū)，第四類包括14個地區(qū)第12章聚類分析K-均值聚類的應(yīng)用

(實例分析)分成4類時每個地區(qū)所屬的類別第12章聚類分析K-均值聚類的應(yīng)用

(分類匯總)類別

地區(qū)地區(qū)個數(shù)第一類上海，北京2第二類天津，內(nèi)蒙古，吉林，海南，重慶，貴州，西藏，甘肅，青海，寧夏，新疆11第三類江蘇，浙江，山東，廣東4第四類河北，山西，遼寧，黑龍江，安徽，福建，江西，河南，湖北，湖