第4章多元線性回歸模型學(xué)習(xí)目標(biāo)

知識(shí)目標(biāo)：了解多元線性回歸模型的基本假設(shè)、掌握其估計(jì)方法以及檢驗(yàn)程序。技能目標(biāo)：在其計(jì)算過(guò)程中充分利用進(jìn)行計(jì)算，通過(guò)本章的學(xué)習(xí)熟練地掌握了和運(yùn)用，尤其是對(duì)中矩陣逆及相乘的運(yùn)算。能力目標(biāo)：會(huì)建立多元線性回歸模型,會(huì)對(duì)多元線性回歸模型進(jìn)行估計(jì)、統(tǒng)計(jì)檢驗(yàn)并進(jìn)行經(jīng)濟(jì)預(yù)測(cè)。拿出一個(gè)案例能夠獨(dú)立的對(duì)其進(jìn)行模型設(shè)定、參數(shù)估計(jì)、統(tǒng)計(jì)檢驗(yàn)和預(yù)測(cè)。第4章多元線性回歸模型§4.1多元線性回歸模型及假定§4.2多元線性回歸模型的參數(shù)估計(jì)§4.3多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)§4.4多元線性回歸模型的置信區(qū)間§4.5受約束回歸§4.6案例分析§4.1多元線性回歸模型及假定4.1.1多元線性回歸模型4.1.2多元線性回歸模型的若干假定4.1.1多元線性回歸模型多元線性回歸模型的一般形式其中k是解釋變量的數(shù)目。給定樣本則上述模型表示為幾何意義：代數(shù)意義：經(jīng)濟(jì)意義：與存在線性關(guān)系，后者是前者的重要解釋變量；與存在線性關(guān)系；表示一個(gè)多維平面。多元總體回歸函數(shù)該函數(shù)又稱為條件期望函數(shù)，表明在給定下的分布的（總體）均值與存在著函數(shù)關(guān)系。多元線性回歸模型表示的n個(gè)隨機(jī)方程的矩陣表達(dá)式其中樣本回歸函數(shù)用來(lái)估計(jì)總體回歸函數(shù)其隨機(jī)表示式

ei稱為殘差或剩余項(xiàng)，可看成是總體回歸函數(shù)中隨機(jī)擾動(dòng)項(xiàng)ui的近似替代。或其中：樣本回歸函數(shù)的矩陣表達(dá):4.1.2

多元線性回歸模型的若干假定假定1解釋變量是非隨機(jī)的,即在重復(fù)抽樣中,解釋變量取固定值,且相互之間互不相關(guān)（無(wú)多重共線性）。假定2隨機(jī)干擾項(xiàng)與解釋變量之間不相關(guān)。假定3隨機(jī)干擾項(xiàng)服從零均值,同方差,零協(xié)方差。假定4隨機(jī)干擾項(xiàng)服從正態(tài)分布。假定5正確設(shè)定回歸模型。

(1)選擇了正確的變量進(jìn)入模型；

(2)對(duì)模型的形式進(jìn)行正確的設(shè)定；

(3)對(duì)模型的解釋變量、被解釋變量以及隨機(jī)干擾項(xiàng)做了正確的假定。上述假定條件稱為多元線性回歸模型的經(jīng)典假定。在本章，我們假定以上條件都成立?！?.2多元線性回歸模型的參數(shù)估計(jì)4.2.1

普通最小二乘法4.2.2

極大似然法估計(jì)4.2.3

參數(shù)估計(jì)量的性質(zhì)4.2.1普通最小二乘法1.普通最小二乘估計(jì)利用最小二乘法估計(jì)模型的參數(shù)，同樣應(yīng)該使殘差平方和達(dá)到最小，即取最小值。根據(jù)多元函數(shù)的極值原理，可得如下方程組：寫(xiě)成矩陣形式為：式和式叫做正規(guī)方程組。由式可得這就是向量的OLS估計(jì)值。2.隨機(jī)干擾項(xiàng)方差估計(jì)值的普通最小二乘估計(jì)可以證明：隨機(jī)干擾項(xiàng)的方差的無(wú)偏估計(jì)為4.2.2

極大似然法估計(jì)這種估計(jì)思想認(rèn)為，當(dāng)從模型總體隨機(jī)抽取

n組樣本觀測(cè)值后，最合理的參數(shù)估計(jì)量應(yīng)該使從模型中抽取該n組樣本觀測(cè)值的概率最大。將樣本觀測(cè)值聯(lián)合概率函數(shù)稱為似然函數(shù)，通過(guò)似然函數(shù)極大化以求得總體參數(shù)估計(jì)量的方法被稱為極大似然法。對(duì)于多元線性回歸模型Yi的概率函數(shù)為Yt是相互獨(dú)立的，所以Yt是隨機(jī)抽取的n

組樣本觀測(cè)值的聯(lián)合概率，即似然函數(shù)為由于lnL是單調(diào)函數(shù)，所以使其極大的參數(shù)值也將使L

極大。求使對(duì)數(shù)似然函數(shù)極大的參數(shù)值，可得：4.2.3

參數(shù)估計(jì)量的性質(zhì)

1.線性性參數(shù)估計(jì)量是線性估計(jì)量，即是隨機(jī)變量Y的線性函數(shù)。顯然，參數(shù)估計(jì)量是隨機(jī)變量Y的線性函數(shù)，所以是線性估計(jì)量。2.無(wú)偏性所以，3.最小方差性是單位矩陣，4.隨機(jī)誤差項(xiàng)方差估計(jì)量的性質(zhì)由于被解釋變量的估計(jì)值與觀察值之間的殘差由于所以殘差平方和為

所以隨機(jī)誤差項(xiàng)方差的估計(jì)量為

例4-1

經(jīng)過(guò)研究發(fā)現(xiàn)，學(xué)生用于購(gòu)買(mǎi)書(shū)籍及課外讀物的支出與本人受教育年限和其家庭收入水平有關(guān)?，F(xiàn)對(duì)某地區(qū)18名學(xué)生進(jìn)行調(diào)查，得到樣本數(shù)據(jù)如表4-1所示,其中Y表示購(gòu)買(mǎi)書(shū)籍及課外讀物（元/年），X1表示學(xué)生受教育年限，X2表示家庭月可支配收入(元/月)。下面我們估計(jì)學(xué)生購(gòu)買(mǎi)書(shū)籍及課外讀物的支出與受教育年限、家庭月可支配收入之間的線性關(guān)系?；貧w線性模型設(shè)定如下用矩陣表示為：估計(jì)的回歸模型表示為§4.3多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)

4.3.1

模型的擬合優(yōu)度檢驗(yàn)4.3.2

回歸方程的顯著性檢驗(yàn)4.3.3

變量的顯著性檢驗(yàn)4.3.1模型的擬合優(yōu)度檢驗(yàn)1.

R2檢驗(yàn)（1）總離差平方和的分解有k個(gè)解釋變量的多元線性回歸模型對(duì)應(yīng)的回歸方程為將Yi與其平均值之間的離差分解如下：將Yi與其平均值之間的離差分解如下：總離差平方和回歸平方和殘差平方和

即總離差平方和分解為回歸平方和與殘差平方和兩部分。（2）多元樣本決定系數(shù)R2與擬合優(yōu)度檢驗(yàn)多元樣本決定系數(shù)因?yàn)樗钥傆?/p>

R2的數(shù)值越接近1，表明Y中總離差平方和中可由樣本回歸線解釋的部分越大，殘差平方和越小，樣本回歸線與樣本觀測(cè)值的擬合程度越高；反之則擬合得越差。

R2作為度量回歸值對(duì)樣本觀測(cè)值Yi

擬合優(yōu)度的指標(biāo)，顯然其數(shù)值越接近1越好。在例4-1中，計(jì)算可得（3）修正樣本決定系數(shù)的大小與模型中解釋變量的數(shù)目有關(guān)，解釋變量的個(gè)數(shù)越多，它的值就越大，在實(shí)際運(yùn)用中需要對(duì)其進(jìn)行調(diào)整。

調(diào)整的思想是將殘差平方和與總離差平方和之比的分子分母分別用各自的自由度去除，變成均方差之比，以剔除解釋變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響。于是，修正的樣本決定系數(shù)為調(diào)整的可決系數(shù)與未經(jīng)調(diào)整的可決系數(shù)之間存在如下關(guān)系：其中，n是樣本觀測(cè)值的個(gè)數(shù)，k是解釋變量的個(gè)數(shù)。在實(shí)際應(yīng)用中，或R2究竟要多大才算模型通過(guò)了檢驗(yàn),沒(méi)有絕對(duì)的標(biāo)準(zhǔn)，要視具體情況而定。在例4-1中，

擬合優(yōu)度并不是評(píng)價(jià)模型優(yōu)劣的唯一標(biāo)準(zhǔn)必須對(duì)回歸方程和模型中各參數(shù)的估計(jì)量作進(jìn)一步的顯著性檢驗(yàn)2.

赤池信息準(zhǔn)則和施瓦茨準(zhǔn)則赤池信息準(zhǔn)則(AIC)施瓦茨準(zhǔn)則(SC)這兩個(gè)準(zhǔn)則均要求僅當(dāng)所增加的解釋變量能夠減少AIC值或SC值時(shí)才在原模型中增加該解釋變量。估計(jì)結(jié)果顯示：某地區(qū)學(xué)生購(gòu)買(mǎi)書(shū)籍及課外讀物的支出二元例中建立某地區(qū)學(xué)生購(gòu)買(mǎi)書(shū)籍及課外讀物的支出一元例中從這點(diǎn)看,可以說(shuō)家庭月可支配收入應(yīng)包含在模型中。4.3.2

回歸方程的顯著性檢驗(yàn)1.

回歸方程的顯著性檢驗(yàn)回歸方程的顯著性檢驗(yàn)是指在一定的顯著性水平下，從總體上對(duì)模型中被解釋變量與解釋變量之間的線性關(guān)系是否顯著成立而進(jìn)行的一種統(tǒng)計(jì)檢驗(yàn)。檢驗(yàn)的原假設(shè)與備擇假設(shè)分別為檢驗(yàn)的思想來(lái)自于總離差平方和的分解式：

ESS是解釋變量的聯(lián)合對(duì)被解釋變量的線性作用的結(jié)果,可通過(guò)該比值ESS/RSS的大小對(duì)總體線性關(guān)系進(jìn)行推斷。

根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的定義，在H0成立的條件下，構(gòu)造一個(gè)統(tǒng)計(jì)量：它服從自由度為(k,n-k-1)的F分布。

給定一個(gè)顯著性水平，查分布表，得到一個(gè)臨界值F(k,n-k-1)

。如果發(fā)生F

F(k,n-k-1)

，則在1-水平下拒絕原假設(shè)，即模型的線性關(guān)系顯著成立，模型通過(guò)方程顯著性檢驗(yàn)。如果未發(fā)生F

F(k,n-k-1)則在1-

水平下接受原假設(shè)，即模型的線性關(guān)系顯著不成立，模型未通過(guò)方程顯著性檢驗(yàn)。在例4-1中，檢驗(yàn)的原假設(shè)與備擇假設(shè)分別為所以結(jié)論是拒絕原假設(shè)，即Y與X1,X2

存在線性回歸關(guān)系。2.擬合優(yōu)度檢驗(yàn)與方程總體線性的顯著性檢驗(yàn)之間的關(guān)系

F檢驗(yàn)可用于度量總體回歸直線的顯著性，也可用于檢驗(yàn)的顯著性。4.3.3

顯著性檢驗(yàn)1.解釋變量的顯著性檢驗(yàn)解釋變量的顯著性檢驗(yàn)，是指在一定的顯著性水平下，檢驗(yàn)?zāi)Ｐ偷慕忉屪兞渴欠駥?duì)被解釋變量有顯著影響的一種統(tǒng)計(jì)檢驗(yàn)。檢驗(yàn)的原假設(shè)與備擇假設(shè)分別為構(gòu)造如下的t

檢驗(yàn)統(tǒng)計(jì)量2.t檢驗(yàn)的步驟（1）提出假設(shè)。（2）計(jì)算t

統(tǒng)計(jì)量。（3）查臨界值t/2(n-k-1)

。（4）判斷。若|t|

t/2(n-k-1)

，則在1-

水平下接受原假設(shè)，即Xj對(duì)應(yīng)的解釋變量j是不顯著的。若|t|

t/2(n-k-1)

，則在1-水平下拒絕原假設(shè)，即Xj對(duì)應(yīng)的解釋變量j是顯著的；

t1和t2分別大于臨界值t0.025(15)=2.13

，所以拒絕零假設(shè)，表明Xi1和Xi2對(duì)于Yi都是重要解釋變量，應(yīng)保留在模型中。在例4-1中，§4.4多元線性回歸模型的置信區(qū)間4.4.1

點(diǎn)估計(jì)值4.4.2

參數(shù)估計(jì)量的置信區(qū)間4.4.3

預(yù)測(cè)值的置信區(qū)間§4.4多元線性回歸模型的置信區(qū)間4.4.1點(diǎn)估計(jì)值

點(diǎn)估計(jì)值就是求解釋變量對(duì)應(yīng)的被解釋變量Y的估計(jì)值。預(yù)測(cè)值與實(shí)際值Y之間存在的誤差為4.4.2參數(shù)估計(jì)量的置信區(qū)間要判斷樣本參數(shù)的估計(jì)值在多大程度上可以近似地替代總體參數(shù)的真值，往往需要通過(guò)構(gòu)造一個(gè)以樣本參數(shù)的估計(jì)值為中心的區(qū)間來(lái)考察它以多大的概率包含著真實(shí)的參數(shù)值。這種方法就是參數(shù)檢驗(yàn)的置信區(qū)間估計(jì)。

t分布的分布曲線對(duì)稱于縱坐標(biāo)軸，所以在給定的置信水平1-下，我們選取對(duì)稱于原點(diǎn)的區(qū)間即使得于是得到參數(shù)估計(jì)量j的置信水平為1-的置信區(qū)間為4.4.3預(yù)測(cè)值的置信區(qū)間1.

E(Y0)的預(yù)測(cè)區(qū)間將隨機(jī)干擾項(xiàng)的方差用其無(wú)偏估計(jì)量代替，可構(gòu)造如下t統(tǒng)計(jì)量：于是，得到置信度為1-下的E(Y0)的置信區(qū)間：2.

Y0的預(yù)測(cè)區(qū)間設(shè)e0是實(shí)際預(yù)測(cè)值Y0與預(yù)測(cè)值之差：e0的標(biāo)準(zhǔn)差估計(jì)值其中構(gòu)造t統(tǒng)計(jì)量于是，對(duì)于給定的置信水平1-

，預(yù)測(cè)值Y0的置信區(qū)間為

在實(shí)際應(yīng)用中，我們希望置信水平越高越好，置信區(qū)間越小越好。如何才能縮小置信區(qū)間？通?？梢酝ㄟ^(guò)以下途徑來(lái)實(shí)現(xiàn)：

（1）增大樣本容量n。（2）提高模型的擬合優(yōu)度，如果模型完全擬合樣本觀測(cè)值，殘差平方和為0，則置信區(qū)間也為0。

（3）提高樣本觀測(cè)值的分散度。在一般情況下,樣本觀測(cè)值越分散，作為的分母的的值越大，使得區(qū)間縮小?！?.5

受約束回歸4.5.1

模型參數(shù)的線性約束4.5.2

對(duì)回歸模型增加或減少解釋變量4.5.3

參數(shù)的穩(wěn)定性在建立回歸模型時(shí)，有時(shí)根據(jù)經(jīng)濟(jì)理論需要對(duì)模型中變量的參數(shù)施加一定的約束條件。如：0階齊次性條件的消費(fèi)需求函數(shù)

1階齊次性條件的C-D生產(chǎn)函數(shù)模型施加約束條件后進(jìn)行回歸，稱為受約束回歸;

不加任何約束的回歸稱為無(wú)約束回歸。4.5.1模型參數(shù)的線性約束對(duì)模型施加約束得或如果對(duì)式回歸得出參數(shù)的估計(jì)結(jié)果則由約束條件可得：

然而，對(duì)所考查的具體問(wèn)題能否施加約束？需進(jìn)一步進(jìn)行相應(yīng)的檢驗(yàn)。常用的檢驗(yàn)有：F檢驗(yàn)、檢驗(yàn)與t檢驗(yàn)，下面主要介紹F檢驗(yàn)在同一樣本下，記無(wú)約束樣本回歸模型為受約束樣本回歸模型為于是受約束樣本回歸模型的殘差平方和RSSR由式RSSR

RSSU從而

ESSRESSU受約束樣本回歸模型的殘差平方和RSSR于是為無(wú)約束樣本回歸模型的殘差平方和RSSU

這意味著，通常情況下，對(duì)模型施加約束條件會(huì)降低模型的解釋能力。

但是，如果約束條件為真，則受約束回歸模型與無(wú)約束回歸模型具有相同的解釋能力，RSSR

與

RSSU的差異變小?？捎肦SSR-RSSU的大小來(lái)檢驗(yàn)約束的真實(shí)性。根據(jù)數(shù)理統(tǒng)計(jì)學(xué)的知識(shí)：于是：如果約束條件無(wú)效，RSSR

與RSSU的差異較大，計(jì)算的F值也較大。于是，可用計(jì)算的F統(tǒng)計(jì)量的值與所給定的顯著性水平下的臨界值作比較，對(duì)約束條件的真實(shí)性進(jìn)行檢驗(yàn)。其中，kU,kR分別為無(wú)約束與受約束回歸模型的解釋變量的個(gè)數(shù)（不包括常數(shù)項(xiàng)），kU-kR恰為約束條件的個(gè)數(shù)。例4-2

柯布—道格拉斯生產(chǎn)函數(shù),試根據(jù)美國(guó)金屬行業(yè)1901-1927年數(shù)據(jù)，檢驗(yàn)規(guī)模效益不變的約束條件：。（1）無(wú)約束回歸模型（

2）有約束回歸模型得到的約束回歸和無(wú)約束回歸的殘差平方和分別為(3)檢驗(yàn)原假設(shè)所以故受原假設(shè)，支持規(guī)模收益不變的假設(shè)。4.5.2對(duì)回歸模型增加或減少解釋變量考慮如下兩個(gè)回歸模型式可以看成是式的受約束回歸：相應(yīng)的Ｆ統(tǒng)計(jì)量為：

Ｆ統(tǒng)計(jì)量的另一個(gè)等價(jià)式如果約束條件為真，即額外的變量Xk+1,…,Xk+q對(duì)Y沒(méi)有解釋能力，則Ｆ統(tǒng)計(jì)量較??；否則，約束條件為假，意味著額外的變量對(duì)Y有較強(qiáng)的解釋能力，則Ｆ統(tǒng)計(jì)量較大。因此，可通過(guò)F的計(jì)算值與臨界值的比較，來(lái)判斷額外變量是否應(yīng)包括在模型中。4.5.3參數(shù)的穩(wěn)定性對(duì)于時(shí)間序列數(shù)據(jù)，因變量和解釋變量之間的關(guān)系可能會(huì)發(fā)生結(jié)構(gòu)變化，這可能是由經(jīng)濟(jì)系統(tǒng)的需求或供給沖擊帶來(lái)的，也可能是制度轉(zhuǎn)變的結(jié)果。建立模型時(shí)往往希望模型的參數(shù)是穩(wěn)定的，即所謂的結(jié)構(gòu)不變，這將提高模型的預(yù)測(cè)與分析功能。如何檢驗(yàn)？

1.鄒氏參數(shù)穩(wěn)定性檢驗(yàn)假設(shè)需要建立的模型為在兩個(gè)連續(xù)的時(shí)間序列（1,2,…，n1）與（n1+1,…，n1+n2）中，相應(yīng)的模型分別為

合并兩個(gè)時(shí)間序列為(1,2,…,n1,n1+1,…,n1+n2)，則可寫(xiě)出如下無(wú)約束回歸模型如果=，表示沒(méi)有發(fā)生結(jié)構(gòu)變化，因此可針對(duì)如下假設(shè)進(jìn)行檢驗(yàn)：H0:=

式施加上述約束后變換為受約束回歸模型因此，檢驗(yàn)的F統(tǒng)計(jì)量為記RSS1與RSS2為在兩時(shí)間段上分別回歸后所得的殘差平方和，容易驗(yàn)證，于是

（1）分別以兩連續(xù)時(shí)間序列作為兩個(gè)樣本進(jìn)行回歸，得到相應(yīng)的殘差平方：

RSS1與RSS2

（2）將兩序列并為一個(gè)大樣本后進(jìn)行回歸，得到大樣本下的殘差平方和RSSR

（3）計(jì)算F統(tǒng)計(jì)量的值，與臨界值比較：若F值大于臨界值，則拒絕原假設(shè)，認(rèn)為發(fā)生了結(jié)構(gòu)變化，參數(shù)是非穩(wěn)定的。該檢驗(yàn)也被稱為鄒氏參數(shù)穩(wěn)定性檢驗(yàn)。參數(shù)穩(wěn)定性的檢驗(yàn)步驟：2.鄒氏預(yù)測(cè)檢驗(yàn)

上述參數(shù)穩(wěn)定性檢驗(yàn)要求n2>k。如果出現(xiàn)n2<k

，則往往進(jìn)行如下的鄒氏預(yù)測(cè)檢驗(yàn)。鄒氏預(yù)測(cè)檢驗(yàn)的基本思想:

先用前一時(shí)間段n1個(gè)樣本估計(jì)原模型，再用估計(jì)出的參數(shù)進(jìn)行后一時(shí)間段n2個(gè)樣本的預(yù)測(cè)。

如果預(yù)測(cè)誤差較大，則說(shuō)明參數(shù)發(fā)生了變化，否則說(shuō)明參數(shù)是穩(wěn)定的。分別以、表示第一與第二時(shí)間段的參數(shù)，則，如果

=0，則=，表明參數(shù)在估計(jì)期與預(yù)測(cè)期相同其中式