1、 高斯-馬爾科夫定理在滿足基本假定的前提下，對(duì)于線性回歸模型，普通最小二乘法得到的參數(shù)估計(jì)量，具有BLUE 性質(zhì)最小方差線性無偏估計(jì)量）第10章 非線性估計(jì)與極大似然估計(jì)10.1 非線性估計(jì)10.2 極大似然估計(jì)法10.3 ARCH模型與GARCH模型10.1 非線性估計(jì)前面討論的單方程回歸模型中，它們都是關(guān)于參數(shù)線性的。通常利用普通LS法、加權(quán)LS法等估計(jì)這些參數(shù)。下面將參數(shù)線性模型拓寬到本質(zhì)上非線性的情形，如模型這些模型無法變換為線性模型，因此線性LS不再適用。但誤差平方和最小化原則仍然可以施行，所得到的參數(shù)估計(jì)，我們稱為非線性LS估計(jì)?？紤]一般 模型2122110XXY221121XXe

2、eY),(2121pkXXXfY其中f是k個(gè)自變量X1,X2,Xk和p個(gè)參數(shù)1,2,p的非線性函數(shù)。如果具有Y與X1,X2,Xk的T個(gè)觀測(cè)，利用誤差平方和最小化可得參數(shù)的非線性LS估計(jì)：1、非線性估計(jì)的計(jì)算方法求解參數(shù)的非線性LS估計(jì)，要比線性模型的LS估計(jì)復(fù)雜的多，通常采用數(shù)值解法。以下三種方法較常見：直接查找法：是指對(duì)不同的參數(shù)值比較誤差平方和S函數(shù)的值，使S最小的那組值就是參數(shù)的估計(jì)值。這種方法適用于所有參數(shù)僅有若干取值的情形。2p21k21T1t),X,X,X(fYS直接優(yōu)化法誤差平方和S關(guān)于各參數(shù)求偏導(dǎo)，得到相應(yīng)的正規(guī)方程通過求解正規(guī)方程組，獲得參數(shù)估計(jì)。由于正規(guī)方程關(guān)于參數(shù)是非線性

3、的，通常采用數(shù)值解法如梯度法(參數(shù)從初始數(shù)值集朝使函數(shù)值下降最快的方向逼近，亦稱最速下降法)0f),X,X,X(fY20f),X,X,X(fY20f),X,X,X(fY2pp21k21T1t2p21k21T1t1p21k21T1t循環(huán)線性化法是指將非線性方程在某個(gè)參數(shù)的初始數(shù)值集附近線性化，然后用普通LS法得到參數(shù)的新數(shù)值集；再把非線性方程在新的數(shù)值集附近重新線性化，用普通LS法得到參數(shù)更新的數(shù)值集，如此循環(huán)反復(fù)直至數(shù)值集變化很小(即數(shù)值集收斂)，作為參數(shù)的最終取值。其中利用了關(guān)于以參數(shù)為變?cè)瘮?shù)的一階泰勒級(jí)數(shù)展開式)(f),X,X,X( fY0, iip1i0i0,p0, 20, 1k21。

4、,0,p0,20, 1為參數(shù)的初始數(shù)值集其中上式可變形為這是關(guān)于參數(shù)的線性模型，用普通LS法可以得到參數(shù)的LS解，作為參數(shù)新的數(shù)值集，交換(10.1)式的初始數(shù)值集。如此循環(huán)下去直至這里為指定的一個(gè)正數(shù)，如0.01。1 .10ff),X,X,X( fYp1i0iip1i0i0 , i0 , p0 , 20 , 1k21jpjpjpjjjjjj,1, 2, 21, 2, 1, 11, 1,2、非線性回歸方程的評(píng)價(jià)由于非線性回歸方程的殘差不再服從正態(tài)分布，因此殘差平方和也不再服從2分布，原來線性模型中的F分布、t分布不在適用了。但擬合優(yōu)度R2仍然是有用的3、非線性回歸方程的預(yù)測(cè)一旦得到了非線性方程

5、的估計(jì)，就可以用它來預(yù)測(cè)。因此Y的點(diǎn)預(yù)測(cè)為),X,X,X(fYp21ktt2t1tt2t2t2y1R),X,X,X(fYp211T,k1T,21T, 11T但由于YT+1不再服從正態(tài)分布，因此其預(yù)測(cè)區(qū)間無法類似于第8章那樣給出。但通過參數(shù)服從正態(tài)分布的假定，利用蒙特卡羅模擬方法，可以得到Y(jié)T+1的一個(gè)近似預(yù)測(cè)區(qū)間。下面說明模型的預(yù)測(cè)區(qū)間產(chǎn)生辦法。確定蒙特卡羅模擬方程其中0,1,2是最后一次循環(huán)線性回歸參數(shù)的數(shù)值解，利用殘差平方和及參數(shù)估計(jì)的標(biāo)準(zhǔn)差構(gòu)造相應(yīng)的正態(tài)隨機(jī)變量與0,1,2，它們均值都等于0，標(biāo)準(zhǔn)差為對(duì)應(yīng)值。2110XY2211100XY產(chǎn)生與0,1,2的正態(tài)隨機(jī)數(shù)，由上式可以計(jì)算YT+

6、1的預(yù)測(cè)值。重復(fù)第二步100至200次，獲得YT+1的預(yù)測(cè)值的樣本標(biāo)準(zhǔn)差，從而得到Y(jié)T+1的近似預(yù)測(cè)區(qū)間。n10.2 極大似然估計(jì)法n參數(shù)極大似然估計(jì)，在一般情況下具有一致性和漸近有效性這兩個(gè)優(yōu)良性質(zhì)。n1、極大似然估計(jì)法n現(xiàn)在先從最簡(jiǎn)單的一元線性模型闡明極大似然估計(jì)法), 0(NXY2iii1iYi的密度函數(shù)為則似然函數(shù)是密度函數(shù)在所有N個(gè)觀測(cè)取值的乘積，即極大似然估計(jì)的目標(biāo)是尋找最可能生成樣本觀測(cè)Y1,YN的參數(shù),2的值，即使對(duì)數(shù)似然函數(shù)logL最大的參數(shù)值。2)(exp21)(22iiiXYYp2)XY(exp21)Y(p),(L2N1i2iiN2N1ii2N1i2ii22)XY(21)

7、2log(2NLlog對(duì)數(shù)似然函數(shù)關(guān)于參數(shù)求偏導(dǎo)可得 解出參數(shù),2的值，就得到了對(duì)應(yīng)參數(shù)的極大似然估計(jì)。不難發(fā)現(xiàn)方程組中含,的前兩個(gè)方程與普通LS估計(jì)是一樣的。2的極大似然估計(jì)為 N1i2ii2222N1iiii2N1iii20)XY(212NLlog0)XY(X1Llog0)XY(1LlogN2i2對(duì)一般非線性模型服從N(0,2)，其對(duì)數(shù)似然函數(shù)定義為類似于一元線性模型可以求出參數(shù)的極大似然估計(jì)，只是在許多情況下只能得到數(shù)值解，但總有有趣的是可以得到各個(gè)參數(shù)估計(jì)方差的近似值費(fèi)歇信息量)log()(22iiLEIN1i2p1kii 1i22),X,X( fY21)2log(2NLlog),X,

8、X,X( fYp21k21N2i2 1Nlog)2log(2NLlog2iMax2、似然比檢驗(yàn)下面用極大似然比檢驗(yàn)?zāi)Ｐ椭幸恍﹨?shù)=0的原假設(shè)。用L(UR)表示沒有限制條件時(shí)對(duì)數(shù)似然函數(shù)的最大值，L(R)表示有限制條件時(shí)對(duì)數(shù)似然函數(shù)的最大值，顯然有L(UR) L(R)，若原假設(shè)成立，兩者應(yīng)十分接近。稱為似然比。通常更多地考慮兩者的差，即統(tǒng)計(jì)量其中m為限制條件個(gè)數(shù)。如果統(tǒng)計(jì)量大于臨界值，就認(rèn)為兩者存在較大的差異，即原假設(shè)不成立，這些參數(shù)不為0。)(L)(LURR2mURR)(L)(L 23、一個(gè)應(yīng)用：Box-Cox模型考慮下面的Box-Cox模型當(dāng)參數(shù)=1時(shí)，模型化為線性模型當(dāng)趨于0時(shí)，有 所以對(duì)

9、X作類似處理， Box-Cox模型化為對(duì)數(shù)線性模型iii1X1Yiii1X1YiYlogiYlog1eYiiiYlog1YiiiXlogYlog實(shí)際上Box-Cox模型是廣義的非線性模型，參數(shù)當(dāng)然也不是隨意指定，通?？赏ㄟ^極大似然法獲得。下面先考慮Y的似然函數(shù)兩邊對(duì)yi求導(dǎo)數(shù)可得)11()()(iiiiiYyYPyYPyFi)1X1y(P)1y1X(Piiiiii)1X1y(Fiii)1X1y(y)y(ii1iiYii所以Y的對(duì)數(shù)似然函數(shù)為從這個(gè)對(duì)數(shù)似然函數(shù)最大化，可以求得的數(shù)值解。假設(shè) ，Yg是Y值N個(gè)觀測(cè)的幾何平均；對(duì)Y的原始觀測(cè)進(jìn)行如下數(shù)據(jù)變換Y*=Y/Yg，那么線性模型=1：對(duì)數(shù)線性模

10、型=0：顯然2ii22i)1X1y(21)2log(2Nylog) 1(LlogNN21gYYYY*XY*XlogYlog0YlogYlogYlog1YYY*N*2*1*N*2*1這樣兩者的對(duì)數(shù)似然函數(shù)形式(第一項(xiàng)都為0)就完全一致了，,的極大似然估計(jì)不僅形式一致且等價(jià)于LS估計(jì)。這從另一個(gè)側(cè)面表明最小誤差平方和的參數(shù)估計(jì)準(zhǔn)則，具有很好的性質(zhì)。對(duì)于非線性模型來說，由于R2最大等價(jià)于誤差平方和最小，擬合優(yōu)度R2仍是評(píng)價(jià)一個(gè)模型好壞的標(biāo)準(zhǔn)。n4、拉格朗日乘數(shù) (LM)檢驗(yàn)法n 利用F分布對(duì)參數(shù)進(jìn)行聯(lián)合檢驗(yàn)，這一方法也稱為Wald檢驗(yàn)法(其范圍更廣)。它從無限制條件模型開始，檢驗(yàn)給模型加上限制條件(

11、某些參數(shù)=0)是否減弱了回歸模型的解釋能力。而LM檢驗(yàn)法，卻是從限制條件出發(fā)，檢驗(yàn)如果向無條件限制方向變化是否能顯著提高模型的解釋能力。LM檢驗(yàn)法也以極大似然函數(shù)為基礎(chǔ)。LM檢驗(yàn)法是最大化以下目標(biāo)函數(shù)由極大化的一階偏導(dǎo)條件可得稱為拉格朗日乘數(shù)。若限制條件是有效的，加入它們將不導(dǎo)致目標(biāo)函數(shù)最大化值的顯著不同，即值將很小， 因而有統(tǒng)計(jì)量為)()(LlogRURURURUR)(Llog0)(logRRL為限制條件個(gè)數(shù)m)( I)(LM2mRR2LM檢驗(yàn)法可以很容易地用于考慮是否在回歸模型中加入另外解釋變量的情形。假如已經(jīng)估計(jì)了有條件模型下面考慮對(duì)另外q個(gè)變量全部或部分加入的無條件模型。對(duì)q個(gè)變量中每

12、一個(gè)系數(shù)都等于0的原假設(shè)，LM檢驗(yàn)法首先計(jì)算有條件模型的殘差 ，然后將殘差對(duì)無條件模型中的K個(gè)解釋變量(k-q+q)進(jìn)行回歸：如果加入的q個(gè)解釋變量能夠增強(qiáng)回歸方程的解釋能力，那么(10.3)式擬合優(yōu)度 就應(yīng)在較高的水平，有統(tǒng)計(jì)量Rqkqk221XXYR kkRXX22120R為樣本容量NNRLM2q20如果LM超出臨界值，那么就拒絕有條件模型。第6章異方差的White檢驗(yàn)可以看作是LM檢驗(yàn)法的特例。5、Wald檢驗(yàn)、似然比檢驗(yàn)和LM檢驗(yàn)的比較它們是三個(gè)最普遍使用的檢驗(yàn)過程。下面以一元線性模型為例，說明三者間的關(guān)系。Wald檢驗(yàn)統(tǒng)計(jì)量為對(duì)于一元線性模型q=1，k=2，Wald檢驗(yàn)簡(jiǎn)化為這里有條

13、件模型 ，LS估計(jì)所以)kN/()R1(q/)RR(F2UR2R2URkN,qXY)R1 (R)2N(F2UR2UR2N, 1*YY*0RTSS)YY(ESS2R2i2*iLM統(tǒng)計(jì)量 有條件模型 的殘差殘差對(duì)解釋變量X回歸：因此所以LM統(tǒng)計(jì)量為*YYY*X21*22)()(XXYYXXiii2UR2i2i2ii2i2i2220R)YY()XX()YY( )XX()YY()XX(R2UR20NRNRLM似然比檢驗(yàn)統(tǒng)計(jì)量對(duì)極大對(duì)數(shù)似然函數(shù)，有有條件模型 殘差 因此而無條件模型 有 ) 1Nlog2(log2NLlog2iMax*YYY*)1NTSSlog2(log2NLlogMaxRXY)1NES

14、Slog2(log2NLlogURMaxUR所以因此三種檢驗(yàn)是漸近等價(jià)的，即如果樣本容量充分大，它們得出同樣的檢驗(yàn)結(jié)果。但是在一般情況下，三個(gè)檢驗(yàn)的確是不同的，可能會(huì)給出不同甚至相互矛盾的結(jié)果。對(duì)于線性模型，在相同樣本情況下，Wald統(tǒng)計(jì)量總是最大的，而LM統(tǒng)計(jì)量總是最小的。因此LM檢驗(yàn)拒絕有條件模型，其它兩種檢驗(yàn)也必然拒絕。URURMaxURMaxRTSSESSlogNLlogLlog 2LR)R1log(NLR2UR10.3 ARCH與GARCH模型在第6章異方差問題的討論中，我們考慮了誤差項(xiàng)方差直接隨一個(gè)或多個(gè)自變量變化的情形，通過修正能夠得到更有效的參數(shù)估計(jì)。這里將進(jìn)一步討論誤差項(xiàng)的方

15、差隨著時(shí)間變化，依賴于過去誤差大小的問題。ARCH模型(自回歸條件異方差)假定誤差項(xiàng)的方差滿足 注意表達(dá)式中含有平方，與自回歸明顯不同。該式表明方差由兩部分組成，一個(gè)常數(shù)項(xiàng)，另一項(xiàng)稱為ARCH項(xiàng)。ARCH項(xiàng)是前一時(shí)刻的誤差項(xiàng)的平方，因而t存在著以t-1為條件的異方差。21t102t下面以二元線性模型為例。(10.4)和(10.5)就構(gòu)成了一個(gè)ARCH模型。 (10.5)式更一般的形式這里誤差項(xiàng)滯后p期，記為ARCH(p)。GARCH模型(廣義自回歸條件異方差) 假設(shè)(10.5)式中又出現(xiàn)了誤差項(xiàng)方差的滯后項(xiàng)(相當(dāng)于第9章的幾何滯后模型)，那么稱模型為GARCH模型(廣義自回歸條件異方差模型)。5 .1021t102t4 .10XXYtt33t221t2ptp22t221t102t下面也以二元線性模型為例。(10.6)和(10.7