第三章多變量回歸分析節(jié)多變量線性回歸模型一、多變量線性回歸模型的PRF

如果假定對(duì)因變量Y有k-1個(gè)解釋變量：X2，X3，…，Xk，k變量總體回歸函數(shù)為：其中1為常數(shù)項(xiàng)，2~2

為解釋變量X2~

Xk

的系數(shù)，u為隨機(jī)干擾項(xiàng)。總體回歸函數(shù)PRF給出的是給定解釋變量X2~

Xk

的值時(shí)，Y的期望值：E(Y|X2，X3，…，Xk)。假定有n組觀測(cè)值，則可寫成矩陣形式：多變量回歸分析計(jì)量經(jīng)濟(jì)學(xué),南開(kāi)大學(xué)共20頁(yè)，您現(xiàn)在瀏覽的是第1頁(yè)!

二、多變量線性回歸模型的基本假定隨機(jī)干擾項(xiàng)的期望值為0。同方差性；無(wú)序列相關(guān)。多變量回歸分析計(jì)量經(jīng)濟(jì)學(xué),南開(kāi)大學(xué)共20頁(yè)，您現(xiàn)在瀏覽的是第2頁(yè)!無(wú)多重共線性，即Xi(i=2,3,…,k)之間不存在線性關(guān)系：隨機(jī)干擾項(xiàng)服從正態(tài)分布。三、多變量線性回歸模型的SRF多變量回歸分析計(jì)量經(jīng)濟(jì)學(xué),南開(kāi)大學(xué)共20頁(yè)，您現(xiàn)在瀏覽的是第3頁(yè)!多變量回歸分析計(jì)量經(jīng)濟(jì)學(xué),南開(kāi)大學(xué)共20頁(yè)，您現(xiàn)在瀏覽的是第4頁(yè)!多變量回歸分析計(jì)量經(jīng)濟(jì)學(xué),南開(kāi)大學(xué)共20頁(yè)，您現(xiàn)在瀏覽的是第5頁(yè)!第三節(jié)擬合優(yōu)度檢驗(yàn)：一、判定系數(shù)R2：平方和df均方差ESSk-1RSSn-kTSSn-1方差分析表（ANOVA)多變量回歸分析計(jì)量經(jīng)濟(jì)學(xué),南開(kāi)大學(xué)共20頁(yè)，您現(xiàn)在瀏覽的是第6頁(yè)!三、R2

與的性質(zhì)第四節(jié)顯著性檢驗(yàn)

一、單參數(shù)的顯著性檢驗(yàn)：

如果接受H0

，則變量Xi

對(duì)因變量沒(méi)有影響，而接受H1，則說(shuō)明變量Xi

對(duì)因變量有顯著影響。

檢驗(yàn)的顯著性，即在一定顯著水平下，是否顯著不為0。多變量回歸分析計(jì)量經(jīng)濟(jì)學(xué),南開(kāi)大學(xué)共20頁(yè)，您現(xiàn)在瀏覽的是第7頁(yè)!平方和df均方差ESSk-1RSSn-kTSSn-1方差分析表（ANOVA)

顯然，R2

越大，F(xiàn)越大，當(dāng)R2=1時(shí)，F(xiàn)無(wú)限大。

選擇顯著水平α，計(jì)算F統(tǒng)計(jì)量的值，與F分布表中的臨界值進(jìn)行比較：多變量回歸分析計(jì)量經(jīng)濟(jì)學(xué),南開(kāi)大學(xué)共20頁(yè)，您現(xiàn)在瀏覽的是第8頁(yè)!

可以利用方差分析表來(lái)進(jìn)行分析。設(shè)ESS為引入變量前的回歸平方和，ESS’

為引入m個(gè)新變量后，得到的回歸平方和，RSS’為引入變量后的殘差平方和。

ANOVA表如下：平方和自由度均方差引入變量前的ESSU1k-1U1/(k-1)引入變量后的ESSU2k+m-1U2/(k+m-1)添加變量的邊際貢獻(xiàn)(U2-U1)m(U2-U1)/m添加變量后的RSSQn-(k+m)Q/(n-k-m)TSSn-1多變量回歸分析計(jì)量經(jīng)濟(jì)學(xué),南開(kāi)大學(xué)共20頁(yè)，您現(xiàn)在瀏覽的是第9頁(yè)!回歸后，得到各回歸方程的平方和

選擇其中ESS最大并通過(guò)F檢驗(yàn)的變量作為首選解釋變量，假定是X2

。此時(shí)可確定一個(gè)基本的回歸方程：在此基礎(chǔ)上進(jìn)行第二次回歸，在剩下的變量中尋找最佳的變量：建立k–2個(gè)回歸方程：多變量回歸分析計(jì)量經(jīng)濟(jì)學(xué),南開(kāi)大學(xué)共20頁(yè)，您現(xiàn)在瀏覽的是第10頁(yè)!第六節(jié)利用多元回歸模型進(jìn)行預(yù)測(cè)

對(duì)于多元回歸模型：通過(guò)回歸分析，得到回歸方程后，就可根據(jù)給定的解釋變量的一組值X0=(1,X20，X30，…，Xk0)，對(duì)因變量Y的值進(jìn)行估計(jì)。一、個(gè)值預(yù)測(cè)為Y0及的預(yù)測(cè)值。多變量回歸分析計(jì)量經(jīng)濟(jì)學(xué),南開(kāi)大學(xué)共20頁(yè)，您現(xiàn)在瀏覽的是第11頁(yè)!

根據(jù)殘差的平方和最小化的原理，解出參數(shù)的估計(jì)量。第二節(jié)多變量回歸模型的OLS估計(jì)一、參數(shù)估計(jì)

可得到如下正規(guī)方程組：多變量回歸分析計(jì)量經(jīng)濟(jì)學(xué),南開(kāi)大學(xué)共20頁(yè)，您現(xiàn)在瀏覽的是第12頁(yè)!如果直接用矩陣微分，則二、的估計(jì)量三、的方差-協(xié)方差矩陣多變量回歸分析計(jì)量經(jīng)濟(jì)學(xué),南開(kāi)大學(xué)共20頁(yè)，您現(xiàn)在瀏覽的是第13頁(yè)!四、OLS估計(jì)量的性質(zhì)：多變量回歸分析計(jì)量經(jīng)濟(jì)學(xué),南開(kāi)大學(xué)共20頁(yè)，您現(xiàn)在瀏覽的是第14頁(yè)!二、校正的R2

：由R2的計(jì)算式可看出，R2隨解釋變量的增加而可能提高（不可能降低）：

與解釋變量X的個(gè)數(shù)無(wú)關(guān)，而則可能隨著解釋變量的增加而減少（至少不會(huì)下降），因而，不同的SRF，得到的R2

就可能不同。必須消除這種因素，使R2

即能說(shuō)明被解釋的離差與總離差之間的關(guān)系，又能說(shuō)明自由度的數(shù)目。定義校正的樣本決定系數(shù)：多變量回歸分析計(jì)量經(jīng)濟(jì)學(xué),南開(kāi)大學(xué)共20頁(yè)，您現(xiàn)在瀏覽的是第15頁(yè)!檢驗(yàn)步驟：如果根據(jù)理論或常識(shí)，非負(fù)，則可做單側(cè)檢驗(yàn)，比較t與tα。二、回歸的總顯著性檢驗(yàn)：檢驗(yàn)回歸系數(shù)全部為零的可能性。多變量回歸分析計(jì)量經(jīng)濟(jì)學(xué),南開(kāi)大學(xué)共20頁(yè)，您現(xiàn)在瀏覽的是第16頁(yè)!第五節(jié)解釋變量的選擇

在回歸模型中的解釋變量，除非由明確的理論指導(dǎo)或其他原因，在選擇上具有一定的主觀性，如何正確選擇解釋變量是非常重要的。一、解釋變量的邊際貢獻(xiàn)分析在建立回歸模型時(shí)，假定我們順序引入變量。在建立了Y與X2的回歸模型，并進(jìn)行回歸分析后，再加入X2?？紤]加入的變量X2是否有貢獻(xiàn)：能否再加入后顯著提高回歸的解釋程度ESS或決定系數(shù)R2。ESS提高的量稱為變量X2的邊際貢獻(xiàn)。決定一個(gè)變量是否引入回歸模型，就要先研究它的邊際貢獻(xiàn)，以正確地建立模型。如果變量的邊際貢獻(xiàn)較小，說(shuō)明改變量沒(méi)有必要加入模型。分析變量的編輯貢獻(xiàn)，可以使用方差分析表為工具，根據(jù)變量引入前、后的RSS的變化量及其顯著性檢驗(yàn)（扣除原來(lái)引入模型的解釋變量的貢獻(xiàn)），確定該變量的邊際貢獻(xiàn)是否顯著。一個(gè)簡(jiǎn)單的檢驗(yàn)方法，就是對(duì)引入新變量后的RSS增量與新的ESS的比值做顯著性檢驗(yàn)。多變量回歸分析計(jì)量經(jīng)濟(jì)學(xué),南開(kāi)大學(xué)共20頁(yè)，您現(xiàn)在瀏覽的是第17頁(yè)!

在新引入變量的系數(shù)為0的原假設(shè)下，把計(jì)算出的該統(tǒng)計(jì)量的值與α顯著水平下的臨界值進(jìn)行比較：

引入的新變量的邊際貢獻(xiàn)顯著，則應(yīng)該把這些變量納入回歸模型，否則這些變量不應(yīng)引入回歸模型做解釋變量。二、逐步回歸法如果根據(jù)理論，因變量Y與k-1個(gè)變量X2，X2，…，Xk

有因果關(guān)系，我們要建立的回歸模型要在這些變量中選擇正確的解釋變量，要根據(jù)變量的邊際貢獻(xiàn)大小，把貢獻(xiàn)大的變量納入回歸模型。分析邊際貢獻(xiàn)并選擇變量的過(guò)程，實(shí)際上是一個(gè)逐步回歸的過(guò)程。首先，分別建立Y與k-1個(gè)變量X2，X2，…，Xk

的回歸模型：多變量回歸分析計(jì)量經(jīng)濟(jì)學(xué),南開(kāi)大學(xué)共20頁(yè)，您現(xiàn)在瀏覽的是第18頁(yè)!回歸后，得到各回歸方程的平方和：

同樣，選擇其中ESS最大并通過(guò)F檢驗(yàn)的變量作為新增解釋變量，假定是X3

。此時(shí)可確定一個(gè)基本的回歸方程：