1、1多層線性模型簡介 Introduction to HLM北京師范大學心理學院劉紅云2主要內(nèi)容n為什么要用多層線性模型為什么要用多層線性模型?n回歸分析模型回顧回歸分析模型回顧n多層（多水平）數(shù)據(jù)特點多層（多水平）數(shù)據(jù)特點n什么是多層線性模型？什么是多層線性模型？nHLM發(fā)展發(fā)展nHLM數(shù)學模型數(shù)學模型nHLM常見簡化模型常見簡化模型n兩水平模型應(yīng)用舉例兩水平模型應(yīng)用舉例n應(yīng)該注意的問題應(yīng)該注意的問題3回歸分析模型iiiXY102, 0Ni4回歸分析模型的假設(shè)n線性（Linearity）n誤差正態(tài)分布（ normally distributed）n誤差方差齊性（homoskedastic）n誤

2、差或觀測個體之間相互獨立（independent）5什么是多層（多水平）數(shù)據(jù)?n多層（多水平）數(shù)據(jù)指的是觀測數(shù)據(jù)在單位上具有嵌套的關(guān)系。如學生嵌套于班級，班級嵌套于學校等。n同一單位內(nèi)的觀測，具有更大的相似性。同一個班級的學生由于受相同的班級環(huán)境等因素的影響有更大的相似性。6嵌套于背景（contextual）特征的多層數(shù)據(jù)舉例n學生水平特征的觀測，嵌套于班級或?qū)W校n兄弟姊妹特征的觀測，嵌套于家庭n個體之間的觀測嵌套于社區(qū)n個體不同時間點的重復(fù)測量嵌套于個體n病人嵌套于醫(yī)院n參數(shù)的估計嵌套于不同的研究 (元分析，meta-analysis)7對多層數(shù)據(jù)，我們了解什么.n隨機選取兩個觀測，同一組內(nèi)

3、的觀測之間的相似性要比不同組觀測之間的相似性大；n如果回歸模型不能解釋所有的組間的差異（事實上傳統(tǒng)回歸不可能做到這一點）,那么同一組內(nèi)的觀測之間的誤差可能相關(guān)；n這就違背了傳統(tǒng)回歸（OLS）中關(guān)于殘差相互獨立的假設(shè)；n至少，傳統(tǒng)回歸分析得到的標準誤的估計不正確（太小）。8HLM數(shù)據(jù)特點n對于嵌套數(shù)據(jù)，傳統(tǒng)回歸模型的做法：（1）個體（如學生）水平上分析 問題：同一班級的學生間相互獨立的假設(shè)是不合理的，同樣對不同班級的學生和相同班級的學生作同一假設(shè)也是不合理的。 （2）組（如學校）水平上分析 問題：丟失了班級內(nèi)學生個體間的差異的信息。 9HLM數(shù)據(jù)特點n對于嵌套數(shù)據(jù)，傳統(tǒng)回歸分析的假設(shè)往往無法滿足

4、。 傳統(tǒng)的線性回歸模型假設(shè)變量間存在直線關(guān)系，因變量總體上服從正態(tài)分布，方差齊性，個體間相互獨立。前兩個假設(shè)較易保證，但方差齊性，尤其是個體間相互獨立的假設(shè)卻很難滿足。 10獨立性不滿足帶來的問題n傳統(tǒng)回歸系數(shù)估計的標準誤依賴于相互獨立的假設(shè)；n如果獨立性的假設(shè)不滿足，得到的標準誤的估計往往偏小，因此所犯第一類錯誤的概率往往偏大。11表1 當組內(nèi)相關(guān)存在時，第一類錯誤限定為0.05時，實際所犯第一類錯誤的概率12HLM數(shù)學模型n例如：對73個學校1905名學生進行調(diào)查，目的是考慮其剛上高中時的入學成績與三年后高考成績之間的關(guān)系。 考慮方法：（1）如果用傳統(tǒng)的線性回歸分析，直接在學生水平上進行分

5、析，得出入學學業(yè)成績對高考成績之間的一條回歸直線，如下圖1所示，從圖1的結(jié)果可以看出，傳統(tǒng)回歸分析沒有區(qū)分不同的學校之間的差異。 13圖1：不考慮學校之間差異的回歸直線 14HLM數(shù)學模型n（2）如果將數(shù)據(jù)進行簡單合并，用每個學校學生的平均成績代替這個學校的成績，直接在學校水平上估計入學成績對高考成績的影響，得到一條回歸直線，如圖2所示，這種方法忽略了不同學生之間的差異；15圖2：只考慮學校差異忽略學生差異回歸直線 16HLM數(shù)學模型n（3）如果假設(shè)不同學校入學成績對高考成績的回歸直線截距不同，斜率相同（平均學習成績之間存在差異），得到如圖3的結(jié)果，從圖中結(jié)果可以看出，不同學校學生平均高考成績

6、之間存在差異。17圖3：考慮不同學校平均成績差異的回歸直線 18HLM數(shù)學模型n（4）對73所學校分別做回歸分析，得到如圖4的結(jié)果，如圖4所示，從圖中結(jié)果可以看出，不同學校回歸直線的截距和斜率均不同，即：不同學校學生平均高考成績之間存在差異，入學學業(yè)成績對高考成績的影響強度不同。19圖4：考慮不同學校平均成績差異 和入學對畢業(yè)成績影響程度差異的回歸直線 20回歸模型中，如何解決殘差相關(guān)的問題?n希望定義一個模型，可以明確地允許因變量水平在組內(nèi)和組間存在差異n例如，允許學生的學業(yè)成績存在學校之間的差異21告別 OLS: 一個簡單的多層線性模型ijjijijruXY10n將n重寫為:ijijijX

7、Y1022一個簡單的多層線性模型ijjijijruXY1023一個簡單的多層線性模型ijjijijruXY10Outcome for observation i in unit j24一個簡單的多層線性模型ijjijijruXY10Outcome for observation i in unit jIntercept 25一個簡單的多層線性模型ijjijijruXY10Outcome for observation i in unit jIntercept Coefficient Value of X for observation i in unit j 26一個簡單的多層線性模型ijji

8、jijruXY10Outcome for observation i in unit jIntercept Coefficient Value of X for observation i in unit j Residual term specific to unit j 27一個簡單的多層線性模型ijjijijruXY10Outcome for observation i in unit jIntercept Coefficient Value of X for observation i in unit j Residual term specific to unit j Residua

9、l term specific to observation i in unit j28一個簡單的多層線性模型ijjijijruXY10Outcome for observation i in unit jIntercept Coefficient Value of X for observation i in unit j Residual term specific to unit j Residual term specific to observation i in unit j29 uj表示什么?n殘差項n定義第 j 組（第二水平）n對于第 j組的所有觀測都相同n只有下標 j, 沒有

10、下標 in解釋: 總截距和第 j組的截距之間的差異30 rij表示什么?n殘差項n定義第 j 組第i 個觀測 n均值為031模型的特征n注意到: ij = uj + rijn我們有: Var(ij)= Var(uj + rij)= Var(uj) + Var(rij) + 2*Cov(uj,rij) = Var(uj) + Var(rij)32模型的特征n Yij 的值可能存在第二水平（組間）的差異n對于 uj和 rij沒有定義其分布.n X 和 Y 之間的關(guān)系不依賴于 j (1 不依賴于 j)33模型的另一種表達jjijijjijijjijjijijurXrXuruXY00101010這里3

11、4多層線性模型n水平1（如：學生） n水平2（如：學校） ijijjjijeXY10jju0000gYij-第j個學校的第i個學生jju1101g35何謂多層線性模型?n多層線性模型又稱為： n多水平分析（ Multilevel Analysis ）n混合模型（Mixed Models）n隨機系數(shù)模型（Random Coefficient Models）36HLM的發(fā)展 快速發(fā)展與應(yīng)用 HLM（Bryk，Randenbush，SeltzerCongdon，1988）； Mlwin（Rabash，ProsserGoldstein，1989）； VARCL（Longford，1988）； MPLU

12、S（Muthen，1992）; SAS, SPSS37多層線性模型n回歸模型的一種n常用來回答背景變量（如班級環(huán)境等）與個體變量（如學生特征）之間的關(guān)系n常用來估計組內(nèi)（如班級內(nèi)）和組間（如班級間）變量間的關(guān)系 以及跨水平的交互作用。n例如, 學校組織氣氛對學生學業(yè)成績的影響；學校組織氣氛與學生社會經(jīng)濟地位的交互作用。 38多層線性模型簡介n多層線性模型一種處理嵌套數(shù)據(jù)的統(tǒng)計方法。通過定義不同水平（層）的模型，將隨機變異分解為兩個部分，其一是第一水平個體間差異帶來的誤差，另一個是第二水平班級的差異帶來的誤差?？梢约僭O(shè)第一水平個體間的測量誤差相互獨立，第二水平班級帶來的誤差在不同班級之間相互獨立

13、。多水平分析法同時考慮到不同水平的變異 。39多層線性模型n多層分析方法提供了解決嵌套數(shù)據(jù)關(guān)系的合理的正確的統(tǒng)計方法。下面結(jié)合上面提到的例子，介紹兩水平模型的一般數(shù)學表示：40多層線性模型n水平1（如：學生） n水平2（如：學校） ijijjjijeXY10jjjuW111101ggjjjuW001000ggYij-第j個學校的第i個學生41多層線性模型n合并模型： 其中：yij表示因變量（如三年后的高考成績），xij表示第一水平（學生）的預(yù)測變量，Wj表示第二水平（學校）的預(yù)測變量。 ijijjjjijjijijeXuuWXWXY1011011000gggg42多層線性模型n模型的假設(shè)條件為

14、： （ 1） ije), 0 (2N，ije間 相 互 獨 立 ； （ 2）jjuu10), 0 ( N ， 1101100010jjuuVar （ 3）0),(),(10ijjijjeuCoveuCov， 21, 0),(21jjuuCovijij 43多層線性模型截距與斜率之間的相關(guān)系數(shù)：n截距與斜率之間的相關(guān)系數(shù)大小表示了不同學校平均高考成績與入學成績對高考成績影響強度之間的關(guān)系，如果相關(guān)系數(shù)大于零，表示平均成績越高，入學成績對期末成績的影響越大。 2111000110)(),(jjr44HLM常用模型類型n隨機效應(yīng)一元方差分析模型（one-way Anova with Random E

15、ffect） 第一水平： 第二水平： 合并模型：ijjijeY0jju0000gijojijeuY00g45HLM常用模型類型n無條件模型：模型中沒任何預(yù)測變量的多層分析模型； 模型表示與隨機效應(yīng)的方差分析模型相同。在無條件模型中： 上式的相關(guān)系數(shù)描述了水平2單位內(nèi)個體之間的相關(guān)（intra level 2-unit correlation），它測量了學校之間方差占總方差的比例，或者說在總的變異中由水平二解釋的方差的比例。 2000046HLM常用模型類型n隨機效應(yīng)單因素協(xié)方差分析（One-way ANCOVA with Random Effects） 水平1： 水平2： ijijjjijeX

16、Y101010000ggjjju47HLM常用模型類型n一般的線性回歸模型 n第一水平 ：n第二水平：ijijjjijeXY10101000ggjj48HLM常用模型類型n隨機系數(shù)回歸模型（Random-Coefficients Regression Model） 第一水平 ：第二水平：ijijjjijeXY10jjjjuu11010000gg49HLM應(yīng)用舉例nhsb1.sav和hsb2.sav 在水平一的數(shù)據(jù)文件hsb1.sav中，有7185個觀測樣本和四個第一水平的變量（不包含第二水平指標變量：學校編號ID），這四個變量所表示的含義如下： minority，學生的種族（1=少數(shù)民族，0=

17、其他） female：學生性別（1=女，0=男） ses：學生的社經(jīng)地位，由學生父母受教育程度、職業(yè)和收入合成，變量已被標準化 mathach：學生的數(shù)學學業(yè)成績 50HLM應(yīng)用舉例n數(shù)據(jù)文件hsb2.sav中包含有160個學校，每個學校測量了六個學校水平的變量（不包含學校指標變量ID）。nsize：學校招生人數(shù)nsector：學校類型（1=天主教教會學校，0=公立學校）npracad：從事學術(shù)研究的學生的比例ndisclim：學校紀律環(huán)境，由量表測量得到nhimnty：學校招生少數(shù)民族學生比例描述（1=超過40%少數(shù)民族學生，0=其他）nmeanses：包含在水平1數(shù)據(jù)中，每個學校學生的平均

18、社經(jīng)地位 51HLM應(yīng)用舉例 目的：分析影響學生數(shù)學成績的學生水平變量和學校水平變量52個體水平模型Yij = 0j + 1jX1ij + 2jX2ij + + KjXKij + rij第 j 組第 I 個個體因變量的觀測值第 j個組的截距第j 組 X1 對應(yīng)的斜率第j 組 X2 對應(yīng)的斜率第j 組 XK 對應(yīng)的斜率53背景（Contextual）模型 Yij = 0j + 1jX1ij + 2jX2ij + + KjXKij + rij0j = g00 1j = g10 2j = g20 Kj = gK0在傳統(tǒng)回歸（OLS）模型中,截距和斜率都是固定的，即對不同的第二水平單元均相同54背景（

19、Contextual）影響問題n第二水平不同單元（如不同學校），截距是否相同?n能否用第二水平的協(xié)變量預(yù)測截距之間的差異?n斜率是否存在第二水平的變異?n能否用第二水平的預(yù)測變量解釋斜率之間的差異?55截距是否存在第二水平的變異? Yij = 0j + 1jX1ij + 2jX2ij + + KjXKij + rij0j = g00 + u0j1j = g10 2j = g20 Kj = gK0In the random effects model, the intercept varies around some grand mean intercept (g00), and the slo

20、pes are fixed they are the same in all unitsTest H0: Var(u0j) = 056可否用第二水平的預(yù)測變量解釋截距之間的差異?Yij = 0j + 1jX1ij + 2jX2ij + + KjXKij + rij0j = g00 + g01Z1 + g02Z2 + + g0MZM + u0j 1j = g10 2j = g20 Kj = gK0Here, the Zms predict the intercept.Test H0: g0m = 057斜率是否存在第二水平的變異?Yij = 0j + 1jX1ij + 2jX2ij + + Kj

21、XKij + rij0j = g00 + u0j1j = g10 + u1j2j = g20 + u2jKj = gK0 + uKjThe intercept and each of the slopes varies around their grand means (the gk0s)Test H0: Var(ukj) = 058能否用第二水平的預(yù)測變量解釋斜率間的差異?Yij = 0j + 1jX1ij + 2jX2ij + + KjXKij + rij0j = g00 + g01Z1 + g02Z2 + + g0MZM + u0j1j = g10 + g11Z1 + g12Z2 + +

22、 g1MZM + u1j2j = g20 + g21Z1 + g22Z2 + + g2MZM + u2jKj = gK0 + gK1Z1 + gK2Z2 + + gKMZM + uKjHere, the Zms predict the slopes.Test H0: gkm = 059無條件模型60無條件模型參數(shù)估計結(jié)果Final estimation of variance components: - Random Effect Standard Variance df Chi-square P-value Deviation Component - INTRCPT1, 2.93501 8.

23、61431 159 1660.23259 0.000 level-1, R 6.25686 39.14831 -61含有第一水平預(yù)測變量的HLM模型（隨機系數(shù)模型）62隨機系數(shù)模型參數(shù)估計結(jié)果Final estimation of fixed effects (with robust standard errors) - Standard Approx. Fixed Effect Coefficient Error T-ratio d.f. P-value - For INTRCPT1, B0 INTRCPT2, G00 12.664935 0.189251 66.921 159 0.000

24、For SES slope, B1 INTRCPT2, G10 2.393878 0.117697 20.339 159 0.000 -63Final estimation of variance components: - Random Effect Standard Variance df Chi-square P-value Deviation Component - INTRCPT1, U0 2.19768 4.82978 159 905.26472 0.000 SES slope, U1 0.64675 0.41828 159 216.21178 0.002 level-1, R 6

25、.06864 36.82835 -64含有第二水平預(yù)測變量的模型65The outcome variable is MATHACH Final estimation of fixed effects (with robust standard errors) - Standard Approx. Fixed Effect Coefficient Error T-ratio d.f. P-value - For INTRCPT1, B0 INTRCPT2, G00 12.658410 0.173263 73.059 158 0.000 DISCLIM, G01 -1.128519 0.160735 -7.021 158 0.000 For SES slope, B1 INTRCPT2, G10 2.409288 0.112194 21.474 158 0.000 DISCLIM, G11 0.570615 0.123906 4.605 158 0.000 -66Final estimation of variance components: - Random Effect Standard Variance df Chi-square P-value Deviation Component - IN