第三章回歸模型的估計(jì):概論RegressionModelEstimation:GeneralApproaches第三章回歸模型的估計(jì):概論RegressionMod1

第二章指出，當(dāng)聯(lián)合概率分布p(X,Y)已知時(shí)，在MSE最小化準(zhǔn)則下，E(Y|X)是Y的最佳代表，被稱(chēng)為是Y關(guān)于X的回歸函數(shù)(regressionfunction)，也可稱(chēng)為總體回歸函數(shù)(populationregressionfunction)。

而當(dāng)上述總體回歸函數(shù)呈現(xiàn)線性形式

E(Y|X)=X’0時(shí)，則稱(chēng)回歸模型Y=X’+u關(guān)于E(Y|X)正確設(shè)定，這時(shí)“真實(shí)”參數(shù)0等于最佳線性最小二乘解*：

0=*=[E(XX’)]-1E(XY)且E(u|X)=0E(Xu)=0第二章指出，當(dāng)聯(lián)合概率分布p(X,Y)已知時(shí)，在MS2

問(wèn)題是：我們往往不知道總體的p(X,Y)。因此，只能通過(guò)樣本來(lái)估計(jì)總體的相關(guān)信息。

根據(jù)樣本估計(jì)總體構(gòu)成了回歸分析的主體內(nèi)容。問(wèn)題是：我們往往不知道總體的p(X,Y)。因此，只能3§3.1參數(shù)估計(jì)：概論

ParameterEstimation:GeneralApproaches

設(shè)(Y1,Y2,…,Yn)’是從未知總體Y~f(Y)中隨機(jī)抽取的一個(gè)樣本，并由此估計(jì)總體的特征，如參數(shù)。我們可以尋找一個(gè)關(guān)于的估計(jì)量(estimator)T，它是關(guān)于所抽樣本Y的函數(shù)：T=h(Y)

對(duì)于某一樣本(Y1,Y2,…,Yn)’，則有一個(gè)估計(jì)值(estimate):t=h(Y1,Y2,…,Yn)§3.1參數(shù)估計(jì)：概論

ParameterEstimat4一、衡量參數(shù)估計(jì)量?jī)?yōu)劣的準(zhǔn)則

CriteriaforanEstimator

1、有限樣本準(zhǔn)則

記T為所選取的統(tǒng)計(jì)量，則T與參數(shù)的差異可用均方誤（meansquareerror,MSE）刻畫(huà)：

E(T-)2由于T關(guān)于的均方誤有如下分解式

E(T-)2=Var(T)+[E(T)-]2記[E(T)-]=E(T)-為T(mén)關(guān)于的偏差(bias)。

Var(T)刻畫(huà)了統(tǒng)計(jì)量Ｔ的真正的離散程度，如果它較小，表明Ｔ不太受數(shù)據(jù)隨機(jī)波動(dòng)的影響；如果Ｅ(T)-較小，表明Ｔ的分布密切圍攏著。一、衡量參數(shù)估計(jì)量?jī)?yōu)劣的準(zhǔn)則

Criteriafo5對(duì)無(wú)偏估計(jì)量，MSE=Variance，因此，在實(shí)踐中還希望從無(wú)偏估計(jì)量中選擇方差最小的。于是，有如下最小方差無(wú)偏準(zhǔn)則（minimumvarianceunbiasednesscriterion）

定義:

Tisaminimumvarianceunbiasedestimator,orMVUE,ofiff

(a)E(T-)=0forall,and(b)V(T)≤V(T*)forallT*suchthatE(T*-)=0定義:

TisanunbiasedestimatorofiffE(T-)=0,forall.最小方差無(wú)偏估計(jì)量也稱(chēng)為無(wú)偏有效估計(jì)量(Unbiasedandefficientestimator)對(duì)無(wú)偏估計(jì)量，MSE=Variance，因此，在實(shí)62、無(wú)限樣本準(zhǔn)則（AsymptoticCriteria）

有限樣本往往需要知道估計(jì)量的精確分布，而這是建立在對(duì)總體分布已知的情況下的。如果總體分布未知，則需要依賴(lài)無(wú)限樣本準(zhǔn)則：注意：(1)一致性的充分條件是：limE(Tn)=,且limVar(Tn)=0(2)同一參數(shù)可能會(huì)有多個(gè)一致估計(jì)量。如從對(duì)稱(chēng)分布的總體中抽樣，則樣本均值與樣本中位數(shù)都是總體期望=E(Y)的一致估計(jì)量。2、無(wú)限樣本準(zhǔn)則（AsymptoticCriteria）7在實(shí)踐中，為了區(qū)分同一參數(shù)不同的一致估計(jì)量，需要從退化極限分布(degeneratelimitingdistribution)轉(zhuǎn)向漸近分布(asymtoticdistribution)

尤其是，一致估計(jì)量具有以參數(shù)真實(shí)值為中心的漸近正態(tài)分布(asymptoticnormaldistribution)。因此，有如下最佳漸近正態(tài)估計(jì)量準(zhǔn)則：在實(shí)踐中，為了區(qū)分同一參數(shù)不同的一致估計(jì)量，需要從退8注意：

(1)大樣本BAN準(zhǔn)則是小樣本MVUE準(zhǔn)則的漸近版本(version)；(2)在計(jì)量經(jīng)濟(jì)學(xué)中，除了精確分布已知的情況，最佳漸近正態(tài)性，或稱(chēng)為漸近有效性(asymptoticefficiency)，是最常選擇的準(zhǔn)則。(3)漸近有效估計(jì)量的直觀表述為注意：(2)在計(jì)量經(jīng)濟(jì)學(xué)中，除了精確分布已知的情況，9二、類(lèi)比估計(jì)法(TheAnalogyPrinciple)總體參數(shù)是關(guān)于總體某特征的描述，估計(jì)該參數(shù)，可使用相對(duì)應(yīng)的描述樣本特征的統(tǒng)計(jì)量。

(1)估計(jì)總體矩，使用相應(yīng)的樣本矩(2)估計(jì)總體矩的函數(shù)，使用相應(yīng)的樣本矩的函數(shù)對(duì)線性回歸模型：Y=0+1X+u1、基本原理二、類(lèi)比估計(jì)法(TheAnalogyPrinciple)10

上述方法都是通過(guò)樣本矩估計(jì)總體矩，因此，也稱(chēng)為矩估計(jì)法(momentmethods,MM)。(3)類(lèi)比法還有：用樣本中位數(shù)估計(jì)總體中位數(shù)；用樣本最大值估計(jì)總體最大值；用樣本均值函數(shù)mY|X估計(jì)總體期望函數(shù)Y|X，等

Questions:Areanalogestimatorsensiblefromastatisticalpointofview?Howreliablearethey?Whatshallwedowhenananalogestimatorisunreliable?上述方法都是通過(guò)樣本矩估計(jì)總體矩，因此，也稱(chēng)為矩估計(jì)112、總體均值的估計(jì)對(duì)E(Y)=，Var(Y)=2的某總體隨機(jī)抽樣，由類(lèi)比法(矩法)知：記T=∑iciYi，ci為不全為0的常數(shù)。

E(T)=E(∑ciYi)=∑ciE(Yi)=∑ci

Var(T)=∑ci2Var(Yi)=2∑ci2于是，任何無(wú)截距項(xiàng)，系數(shù)和為1的Yi的線性組合都是的無(wú)偏估計(jì)量。2、總體均值的估計(jì)對(duì)E(Y)=，Var(Y)=212要尋找最佳估計(jì)量，則需在約束∑ci=1下求解

min∑ci2記Q=∑ci2-(∑ci-1)則Q/ci=2ci-(i=1,2,…,n)

Q/=-

(∑ci-1)由極值求解條件得：ci=/2,∑ci=1于是∑ci=n/2

=2/n,ci=1/nTheorem.從任何總體中進(jìn)行簡(jiǎn)單隨機(jī)抽樣，樣本均值是總體期望的最小方差線性無(wú)偏估計(jì)量(minimumvariancelinearunbiasedestimator，MVLUE)。要尋找最佳估計(jì)量，則需在約束∑ci=1下求解

13樣本均值是樣本的1階原點(diǎn)矩，它是總體期望，即總體1階原點(diǎn)矩的無(wú)偏估計(jì)量。

事實(shí)上，對(duì)總體的任何階原點(diǎn)矩(rawmoment)

=s=E(Ys)簡(jiǎn)單隨機(jī)抽樣中，對(duì)應(yīng)的樣本原點(diǎn)矩

Ms’=(1/n)∑iYis是總體原點(diǎn)矩的無(wú)偏估計(jì)量。樣本均值是樣本的1階原點(diǎn)矩，它是總體期望，即總體1階143、總體方差的估計(jì)對(duì)=2=E(Y-Y)2=2(Y未知)，類(lèi)比法得3、總體方差的估計(jì)對(duì)=2=E(Y-Y)2=15則E(S*2)=2，S*2為總體方差2的無(wú)偏估計(jì)。

盡管S2是2的有偏估計(jì)，但卻是2的一致估計(jì)量。則E(S*2)=2，S*2為總體方差2的無(wú)偏估計(jì)。164、總體協(xié)方差的估計(jì)

對(duì)=XY=Cov(X,Y)=E[(X-X)(Y-Y)]，類(lèi)比法得為了討論該統(tǒng)計(jì)量的性質(zhì)，需考察二元聯(lián)合分布：記(X,Y)的聯(lián)合pdf為f(x,y),則有如下1階、2階矩

E(X)=X,E(Y)=Y

Var(X)=X2,Var(Y)=Y2,Cov(X,Y)=XY且可記出如下原點(diǎn)矩與中心矩：

E(XrYs)=rs’，E(X*rY*s)=rs其中，

X*=X-X，Y*=Y-Y4、總體協(xié)方差的估計(jì)對(duì)=XY=Cov(X17V的總體期望與方差如下：

E(V)=E(X*Y*)=Cov(X,Y)=XY=11Var(V)=E(V2)-E2(V)=E(X*2Y*2)-E2(X*Y*)=22-112V的總體期望與方差如下：18同時(shí)有如下結(jié)論：下面考察SXY的統(tǒng)計(jì)性質(zhì)：同時(shí)有如下結(jié)論：下面考察SXY的統(tǒng)計(jì)性質(zhì)：19容易證明：無(wú)限樣本下，樣本協(xié)方差SXY是總體協(xié)方差XY的一致估計(jì)量。容易證明：205、一元線性回歸方程參數(shù)的估計(jì)

對(duì)一元線性回歸模型Y=0+1X+u，在假設(shè)E(u|X)=0的條件下，E(Y|X)=0+1X，從而1=XY/X2,0=Y-1X可以證明：b1

,b0分別是1

,0的無(wú)偏估計(jì)量。Proof:5、一元線性回歸方程參數(shù)的估計(jì)對(duì)一元線性回歸模型21求b1的條件期望(給定X=(X1,X2…,Xn)’)：E(b1|X)=E[∑WiYi|X]=∑E(WiYi|X)=∑WiE(Yi|X)=∑Wi(0+1Xi)=0∑Wi+1∑WiXi=1E(b1)=E(E(b1|X))=E(1)=1同理：E(b0|X)=E(Y|X)-E(b1|X)X=(0+1X)-1X=0E(b0)=E(E(b0|X))=E(0)=0求b1的條件期望(給定X=(X1,X2…,Xn)’)22

注意：(a)通常情況，如果T1、T2分別是1、2的無(wú)偏估計(jì)量，=1/2，則T=T1/T2并不是的無(wú)偏估計(jì)量，因?yàn)?/p>

E(T)=E(T1/T2)E(T1)/E(T2)=1/2=

(b)由于大樣本下，樣本矩是總體矩的一致估計(jì)量，而任何樣本矩的連續(xù)函數(shù)是對(duì)應(yīng)總體矩函數(shù)的一致估計(jì)，即有因此，注意：(a)通常情況，如果T1、T2分別是1、23

三、極大似然估計(jì)

MaximumlikelihoodEstimation

極大似然估計(jì)是在假設(shè)隨機(jī)變量Y的分布形態(tài)已知，而分布的若干參數(shù)未知的情形下，根據(jù)樣本信息估計(jì)這些未知參數(shù)的一種估計(jì)方法。

基本思想：在總體分布形態(tài)已知的情況下，隨機(jī)抽取的樣本可能來(lái)自不同參數(shù)決定的不同的總體，而最可能來(lái)自哪個(gè)總體呢？它們所來(lái)自的總體應(yīng)使其分布盡可能地?cái)M合樣本數(shù)據(jù)。1、基本原理三、極大似然估計(jì)

Maximumlikel24對(duì)離散分布，分布特征由pmf(probabilitymassfunction)f(Y;)=P(Y)刻畫(huà)，因此，極大似然估計(jì)，就是在所抽樣本Y=(Y1,Y2,…Yn)’下，尋找適當(dāng)?shù)?，以使P(Y)=f(Y;)最大。對(duì)連續(xù)分布，分布特征由pdf(probabilitydensityfunction)f(Y;)刻畫(huà)。依照pmf的特征，極大似然估計(jì)，就是在所抽樣本Y=(Y1,Y2,…Yn)’下，尋找適當(dāng)?shù)?，以使f(Y;)最大。對(duì)離散分布，分布特征由pmf(probabilit252、極大似然估計(jì)

對(duì)具有pdf或pmf為f(Y;)的隨機(jī)變量Y（其參數(shù)未知），隨機(jī)抽取一容量為n的樣本Y=(Y1,Y2,…Yn)’其聯(lián)合分布為：

gn(Y1,Y2,…Yn;)=if(Yi;)可將其視為給定Y=(Y1,Y2,…Yn)’時(shí)關(guān)于的函數(shù)，稱(chēng)其為關(guān)于的似然函數(shù)(likelihoodfunction)，簡(jiǎn)記為Ｌ():

L()=

gn(Y1,Y2,…Yn;)=if(Yi;)

對(duì)離散型分布，似然函數(shù)L()就是實(shí)際觀測(cè)結(jié)果的概率。極大似然估計(jì)就是估計(jì)參數(shù)，以使這一概率最大；對(duì)連續(xù)型分布，同樣也是通過(guò)求解L()的最大化問(wèn)題，來(lái)尋找的極大似然估計(jì)值的。2、極大似然估計(jì)對(duì)具有pdf或pmf為f(Y;)的26例:假設(shè)有一正態(tài)隨機(jī)樣本Yi~N(,2),i=1,2,…,n，其中未知參數(shù)=(,2)。該似然函數(shù)與其對(duì)數(shù)函數(shù)在相同的=(,2)處達(dá)到最大。因此可求對(duì)數(shù)函數(shù)的極大值：

lnL(,2)=-(n/2)ln(2π)-(n/2)ln(2)-(1/22)(Yi-)2極值的一階偏導(dǎo)條件：

ln(L)/=(1/2)(Yi-)=0

ln(L)/2=-(n/22)+(1/24)(Yi-)2=0例:假設(shè)有一正態(tài)隨機(jī)樣本Yi~N(,2),i27可見(jiàn)，總體均值的極大似然估計(jì)就是樣本均值，總體方差的極大似然估計(jì)就是樣本方差。3、極大似然估計(jì)的統(tǒng)計(jì)性質(zhì)可見(jiàn)，總體均值的極大似然估計(jì)就是樣本均值，總體方差的極大似28由數(shù)理統(tǒng)計(jì)學(xué)知識(shí)：(n-1)s*2/2~2(n-1)因此，Var[(n-1)s*2/2]=2(n-1)Var(S*2)=24/(n-1)由數(shù)理統(tǒng)計(jì)學(xué)知識(shí)：(n-1)s*2/2~2(n-1)29第三章--回歸模型的估計(jì)-概論(高級(jí)計(jì)量經(jīng)濟(jì)學(xué)-清華大學(xué)-潘文清)ppt課件30§3.2估計(jì)總體關(guān)系

EstimatingaPopulationRelation一、問(wèn)題的引入(Introduction)

現(xiàn)在我們系統(tǒng)地討論第二章所引出的問(wèn)題：利用樣本信息估計(jì)Y與X的總體關(guān)系。如果線性模型是正確設(shè)定的，即Y與X間的關(guān)系為Y=E(Y|X)+U=0+1X+U則有1=XY/X2,0=Y-1X且E(Y|X)=0+1X為minE(U2)的解，E(U)=0,E(UX)=0

§3.2估計(jì)總體關(guān)系

EstimatingaPopul31由類(lèi)比法，在一個(gè)容量為n的隨機(jī)樣本下，可以寫(xiě)出樣本線性回歸模型：

Yi=b0+b1Xi+ii=1,2,…,n且有b1=SXY/SX2，b0=Y-b1X

上述b1,b0是mini2/n的解，

且i/n=0，Xii/n=0按此，我們可以通過(guò)樣本信息估計(jì)總體的條件期望函數(shù)(conditionalexpectationfunction,CEF)E(Y|X).以下我們假設(shè)總體CEF的函數(shù)形式已知，即E(Y|X)=h(X;)，只有參數(shù)未知。由類(lèi)比法，在一個(gè)容量為n的隨機(jī)樣本下，可以寫(xiě)出樣本線32二、估計(jì)線性條件期望函數(shù)

EstimatingalinearCEF假設(shè)總體的CEF是線性的：E(Y|X)=0+1X則有最佳最小二乘解(minE(Y-(0+1X))2)

1=XY/X2,0=Y-1X且b1、b0分別是1、0的無(wú)偏且一致的估計(jì)量。二、估計(jì)線性條件期望函數(shù)

Estimating33Theorem.從總體回歸函數(shù)為E(Y|X)=0+1X的總體中簡(jiǎn)單隨機(jī)抽樣，則樣本回歸函數(shù)的系數(shù)b0、b1分別是0、1的無(wú)偏且一致的估計(jì)量。

b1、b0的方差Theorem.從總體回歸函數(shù)為E(Y|X)=0+34第三章--回歸模型的估計(jì)-概論(高級(jí)計(jì)量經(jīng)濟(jì)學(xué)-清華大學(xué)-潘文清)ppt課件35對(duì)多元線性回歸模型:

Y=0+1X1+2X2+…+kXk+U

最佳線性最小二乘解是通過(guò)求解如下極值問(wèn)題得到

minE(U2)=minE[Y-(0+1X1+…+kXk)]2

一階極值條件為:

E(U2)/0=-2E(U)=0E(U2)/j=-2E(XjU)=0

(j=1,2,…k)或:E(U)=0,E(XjU)=0

(j=1,2,…k)解為:

=[E(XX’)]-1E(XY)其中,X=(1,X1,X2,…Xk)’,=(0,1,…k)’對(duì)多元線性回歸模型:

Y=36由類(lèi)比法，在隨機(jī)抽取的容量為n的一個(gè)樣本下，對(duì)應(yīng)的多元樣本線性回歸模型:

Yi=b0+b1X1i+b2X2i+…+bkXki+ei(i=1,2,…,n)

最佳線性最小二乘解是通過(guò)求解如下極值問(wèn)題得到

minei2=min[Yi-(b0+b1X1i+…+bkXki)]2

一階極值條件為:

ei2/b0=-2ei=0ei2/bj=-2Xjei=0

(j=1,2,…k)或:ei=0,Xjei=0

(j=1,2,…k)解為:

b=(X’X)-1(X’Y)其中,

由類(lèi)比法，在隨機(jī)抽取的容量為n的一個(gè)樣本下，對(duì)應(yīng)的37三、估計(jì)非線性期望函數(shù)

EstimatinganonlinearCEF在MSE最小化準(zhǔn)則下，Y的最佳代表為CEF:E(Y|X)Question:當(dāng)已知CEF為非線性時(shí)，如何通過(guò)樣本估計(jì)該CEF的未知參數(shù)呢？ANS:仍然可以使用類(lèi)比法：

而h(X;)恰為下面極小化問(wèn)題的解：

minE(U2)=minE[(Y-h(X;))2]設(shè)E(Y|X)=h(X;)是非線性的，總有

Y=h(X;)+U三、估計(jì)非線性期望函數(shù)

Estimating38例：假設(shè)h(X;)=E(Y|X)=exp(0+1X)

則在一容量為n的樣本下，相應(yīng)的樣本回歸模型為

Yi=exp(b0+b1Xi)+ei相應(yīng)的極值問(wèn)題問(wèn)題為：選擇適當(dāng)?shù)腷0、b1以求解

minei2=min(Yi-exp(b0+b1Xi))例：假設(shè)h(X;)=E(Y|X)=exp(0+39非線性最小二乘估計(jì)是有偏的，但卻是一致的估計(jì)量。此方法也稱(chēng)為非線性最小二乘法(nonlinearleastsquares,NLLS)，解為非線性最小二乘估計(jì)(estimator)

一階極值條件為：

ei(h/b0)=0,ei(h/b1)=0或eihi=0,eihiXi=0

其中：hi=exp(b0+b1Xi)

(i=1,2,…,n)解非線性方程組，可求解參數(shù)的估計(jì)b0、b1。非線性最小二乘估計(jì)是有偏的，但卻是一致的估計(jì)量。40四、估計(jì)二元響應(yīng)模型

EstimatingaBinaryResponseModel

二元響應(yīng)模型(binaryresponsemodel)指被解釋變量Y只取二個(gè)值，如0,1。易知：

E(Y|X)=1·P(Y=1|X)+0·P(Y=0|X)=P(Y=1|X)即在二元響應(yīng)模型中，CEF是在X取某值的條件下，Y取1時(shí)的條件概率?？梢暺錇閄的函數(shù):

E(Y|X)=P(Y=1|X)=G(X;)顯然G(X;)的值應(yīng)屬于[0,1]。因此，可取G(·)為某一概率分布函數(shù)，其自變量應(yīng)是X與的某種組合。四、估計(jì)二元響應(yīng)模型

EstimatingaBi41設(shè)X與的組合為線性關(guān)系：0+1X則：E(Y|X)=F(0+1X)設(shè)定Y=F(0+1X)+U則F(0+1X)是下面極值問(wèn)題的解：

minE(U2)=mi