1、矩法與極大似然法的合理性及比較分析矩法與極大似然法的合理性及比較分析摘要：皮爾遜所引入的矩法是較早提出的求參數(shù)點(diǎn)估計(jì)的方法。我們從辛欽大數(shù)定律知 道，若總體E的數(shù)學(xué)期望E(E)有限，則樣本的平均值&依概率收斂于E(E)。這就啟示我 們想到，在利用樣本所提供的信息來(lái)對(duì)總體E的分布函數(shù)中未知參數(shù)作估計(jì)時(shí)，可以用樣 本矩作為總體矩的估計(jì)。費(fèi)希爾引進(jìn)的極大似然法，從理論觀點(diǎn)來(lái)看，至今仍然是參數(shù)點(diǎn)估計(jì)中最重要的方法， 以后將會(huì)知道，這種估計(jì)方法，是利用總體E的分布函數(shù)F (x；)的表達(dá)式及樣本所提供 的信息，建立未知參數(shù)6的估計(jì)量(&_,&,，,.)o極大似然法的想法同矩法一樣也是直觀的。今舉一個(gè)通俗的

2、例子：有兩位同學(xué)一起進(jìn)行 實(shí)彈射擊，兩人共同射擊一個(gè)目標(biāo)，事先并不知道誰(shuí)的技術(shù)較好，讓每人各打一發(fā)，有一人 擊中目標(biāo)，那么認(rèn)為擊中目標(biāo)的同學(xué)的技術(shù)比擊不中的技術(shù)較好，顯然是合理的。又舉一例； 有一事件，我們知道它發(fā)生大概率p只可能是0.01或0.09，在一次觀察中這事件發(fā)生了， 試問(wèn)這事件發(fā)生的概率是什么？當(dāng)然人們會(huì)認(rèn)為它發(fā)生的概率是0.09而不是0.01。1、參數(shù)估計(jì)1.1、極大似然法一、基本概念：求未知參數(shù)點(diǎn)估計(jì)的一種重要方法。思路是設(shè)一隨機(jī)試驗(yàn)已知有若干個(gè)結(jié)果 A，B，C，.，如果在一次試驗(yàn)中A發(fā)生了，則可認(rèn)為當(dāng)時(shí)的條件最有利于A 發(fā)生，故應(yīng)如此選擇分布的參數(shù)，使發(fā)生A的概率最大。對(duì)總體

3、參數(shù)的估計(jì)分兩種一一點(diǎn)估計(jì)和區(qū)間估計(jì)。在點(diǎn)估計(jì)里，我們介紹 兩種求估計(jì)量的方法：矩估計(jì)法和極大似然估計(jì)法。從矩估計(jì)法公式我們得到， 對(duì)正態(tài)總體N (四,。2)，未知參數(shù)四的矩估計(jì),。2的矩估計(jì)為sn2；四,。2的極大似 然估計(jì)也分別為x和sn2.一般地，在相當(dāng)多的情況下，矩估計(jì)與極大X，似然估 計(jì)是一致的，但也確有許多情形，矩估計(jì)法和極大似然估計(jì)法給出的估計(jì)是不同 的.誰(shuí)優(yōu)誰(shuí)劣?我們可以用估計(jì)量的優(yōu)劣標(biāo)準(zhǔn)進(jìn)行評(píng)價(jià).除此之外，亦可以根據(jù)問(wèn) 題的實(shí)際意義進(jìn)行判定.二、極大似然思想一般地說(shuō)，事件A與參數(shù)9 0有關(guān)，9取值不同，則P(A)也不同.若A發(fā)生了，則認(rèn)為此時(shí)的0值就是9的估計(jì)值.這就是極大似

4、然思想.看一例子：例1、設(shè)袋中裝有許多 黑、白球，不同顏色球的數(shù)量比為3:1，試設(shè)計(jì)一種方法，估計(jì)任取一球?yàn)楹谇虻母怕蔖 .分析：易知P的值無(wú)非是1/4或3/4.為估計(jì)P的值，現(xiàn)從袋中有放回地任取3只球，用X表示其中的黑球數(shù)，則X b(3,P) .按極大似然估計(jì)思想，對(duì)P的取值進(jìn)行估計(jì).解：對(duì)P的不同取值，X取k = 0,1,2,3的概率可列表如下:X012327，.6427，9./,64,64.164P = 34/649/27/64,6427 / /64故根據(jù)極大似然思想即知：尸1*陣0,1：% k = 2,3 -在上面的例子中，P是分布中的參數(shù)，它只能取兩個(gè)值：1/4或3/4,需要通過(guò)抽樣

5、來(lái)決定 分布中參數(shù)究竟是1/4還是3/4.在給定了樣本觀測(cè)值后去計(jì)算該樣本出現(xiàn)的概率，這一概 率依賴于P的值，為此需要用1/4. 3/4分別去計(jì)算此概率，在相對(duì)比較之下，哪個(gè)概率大， 則P就最象那個(gè)三、似然函數(shù)與極大似然估計(jì)若總體X的密度函數(shù)為p(x；。2,，0k)，其中?！保?k是未知參數(shù)，(XX2,X,)是來(lái)自總體X的樣本，稱!=1為。2,k的似然函數(shù)A fX A若有頂使得頊札，由，白1，瓦)=max 慫1,，,為，日1,，您)成立，則稱楫=秘*瓦)為。j極大似然估計(jì)量j=1,2，,k).根據(jù)微積分中函數(shù)極值的原理，要求&使得上式成立，只要令如戲)U de其中 L( 9 )=L(x1,x2

6、,xn； 9 ).解之，所得解&為極大似然估計(jì)量，上式稱為似然方程.又由于街與成二警泓的極值點(diǎn)相同，所以根據(jù)情況，也可以求出航(6) 口成的解作為極大似然估計(jì)量極大似然估計(jì)的不變性求未知參數(shù)0的某種函數(shù)g(6)的極大似然估計(jì)可用極大似然估計(jì)的不變?cè)瓌t，證 明從略.定理(不變?cè)瓌t)設(shè)&是6的極大似然估計(jì)，g(6)是6的連續(xù)函數(shù)，則g(6)的極大似然估計(jì)為g (6)四、求極大似然估計(jì)的一般步驟1、由總體分布導(dǎo)出樣本的聯(lián)合概率函數(shù)(或聯(lián)合密度)；2、把樣本聯(lián)合概率函數(shù)(或聯(lián)合密度)中自變量看成已知常數(shù)，而把參數(shù)6看作自變量，得到似然函數(shù)L(6)；3、求似然函數(shù)L(6)的最大值點(diǎn)(常轉(zhuǎn)化為求對(duì)數(shù)似然函

7、數(shù)l(6 )的最大值 點(diǎn))；4、在最大值點(diǎn)的表達(dá)式中，用樣本值代入就得參數(shù)的極大似然估計(jì)值.下面通過(guò)例子來(lái)說(shuō)明:例一:設(shè)總體X服從正態(tài)分布N(h。2)，試求U及。2的極大似然估計(jì). 解：U,。的似然函數(shù)為K 1_(阿-盧帖1_疽玄忸-產(chǎn)戶似然方程組為5 口口 (T 1=1解之得:因此工及勤分別是U及。2的極大似然估計(jì).例二：設(shè)某元件失效時(shí)間服從參數(shù)為人的指數(shù)分布，其密度函數(shù)為f(X；人)=山-為,X 0，人未知.現(xiàn)從中抽取了 n個(gè)元件測(cè)得其失效時(shí)間為X ,X , ,X，試求人及平均壽命的極大似然估計(jì).12 n分析：可先求人的極大似然估計(jì)，由于元件的平均壽命即為X的期望值，在 指數(shù)分布場(chǎng)合，有E

8、(X)=上，它是人的函數(shù)，故可用極大似然估計(jì)的不變?cè)瓌t， 求其極大似然估計(jì)., 解：(1)寫(xiě)出似然函數(shù)：L(k) = H人e-* =Mei=1(2)取對(duì)數(shù)得對(duì)數(shù)似然函數(shù)：l(X) = nlnX-XLxi i=1(3)將l (X)對(duì)人求導(dǎo)得似然方程為：峰忐-乙=0 i=1(4)解似然方程得：f = nLn x Xi i=1經(jīng)驗(yàn)證，能使l(2達(dá)到最大，由于上述過(guò)程對(duì)一切樣本觀察值成立，故人1的極大似然估計(jì)為：x=1 ；X 根據(jù)極大似然估計(jì)的不變?cè)瓌t，元件的平均壽命的極大似然估計(jì)為：E(X) = 設(shè)母體E的概率函數(shù)為f(x, 015 設(shè)母體E的概率函數(shù)為f(x, 015 A, 0k), 其中SAS祝

9、 k個(gè)未知參數(shù)，J,A, En是取自這一母體的一個(gè)子樣。設(shè)E的k階矩vk = EG存在，則v.,j 動(dòng)=0或三、矩法估計(jì)的具體步驟e = Ee1 AAA辰=明這樣我們就得到含k個(gè)未知參數(shù)0 1, A, OTk個(gè)方程，解由這k個(gè)方程聯(lián)列所構(gòu)成的 方程組就可以得到theta1, A, 0k的一組解：0 =倨 A&)底=必A扁)AAAAAAAAA.=姒 1,A&)用(2)中的解，,來(lái)估計(jì)參數(shù)0 j就是矩法估計(jì)。一般我們考察叮:的情形。在數(shù)理統(tǒng)計(jì)學(xué)中，我們一般用I表示0的估計(jì)量。例三: 設(shè)總體X的概率密度為X1,，Xn為樣本，求參數(shù)b的矩估計(jì)。I xl8 x 解：日三E (X) = j e 2bI x

10、l8a2 三 E(X2) = j 2_t8j-x 18b dx = jb=j 2 x 18b dx = jb=j 2 xeT08=2b j0 xxde廠o8 x=2_ j e - _ dx=2_ 2i=1i=1例五：已知大學(xué)生英語(yǔ)四級(jí)考試成績(jī)CN(u, 02)，均值U ,方差。2均未知，筆1,A,En為取自母 體筆的一個(gè)子樣，(x1, A, xn)是子樣的一組觀測(cè)值，求U與。2的矩法估計(jì)。n解：注意到有兩個(gè)未知參數(shù)，由矩法估計(jì)知需兩個(gè)方程，按照(1)式得方程組解這一方程組得U與。的矩法估計(jì)量從而U與。2的矩法估計(jì)值分別為分析：注意到我們這里求出U與。2的矩法估計(jì)并未用到母體&的分布。這樣對(duì)虹。

11、2 作出了估計(jì)，也就對(duì)整個(gè)母體分布作出了推斷，進(jìn)而對(duì)大學(xué)生英語(yǔ)四級(jí)考試成績(jī)&相關(guān)的其 它數(shù)字特征如標(biāo)準(zhǔn)分、標(biāo)準(zhǔn)差、偏態(tài)系數(shù)等作出了估計(jì)。四、矩法估計(jì)的優(yōu)缺點(diǎn)矩法估計(jì)原理簡(jiǎn)單、使用方便，使用時(shí)可以不知母體的分布，而且具有一定的優(yōu)良性質(zhì)(如 矩估計(jì)為E；的一致最小方差無(wú)偏估計(jì))，因此在實(shí)際問(wèn)題，特別是在教育統(tǒng)計(jì)問(wèn)題中被 廣泛使用。但在尋找參數(shù)的矩法估計(jì)量時(shí)，對(duì)母體原點(diǎn)矩不存在的分布如柯西分布等不能用，另 一方面它只涉及母體的一些數(shù)字特征，并未用到母體的分布，因此矩法估計(jì)量實(shí)際上只集中了母體的部分信息，這樣它在體現(xiàn)母體分布特征上往往性質(zhì)較差，只有在樣本容量n較大時(shí)， 才能保障它的優(yōu)良性，因而理論上講

12、，矩法估計(jì)是以大樣本為應(yīng)用對(duì)象的。2、兩種方法比較分析歸納如下兩種方法的歸納比較如下表：方法概率加哄fill 8:2頊無(wú)顯式表達(dá)代A_r出尸工”估點(diǎn)九理式表達(dá)式AAE 5產(chǎn)E叩=rADuA. f。叩狷 JOB 663 JRAAA3AA /a陽(yáng)w 0.607 927 nM0J39O1RA AGiv（ u*（5）A A_射（Wum 6調(diào)）r 0.257 019 flCov ti.p 0-3704 f naA解用敷值方法吹拉常數(shù)r-0.57722極大似然法給出了具有最小方差的參數(shù)M和。的漸近無(wú)偏估計(jì)量，盡管它需要復(fù)雜的計(jì)算， 隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展，極大似然估計(jì)量，隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展，極大似

13、然估 計(jì)量的計(jì)算不難在計(jì)算機(jī)上實(shí)現(xiàn)。而雖然漸近方差和漸進(jìn)協(xié)方差較大，但概率加權(quán)矩法卻給 出參數(shù)M和。的無(wú)偏估計(jì)量，表明了在估計(jì)能寫(xiě)出分布函數(shù)的反函數(shù)形式的分布參數(shù)時(shí)這 種方法非常有用具體的兩種方法的比較如下：矩法估計(jì)量與極大似然估計(jì)量不一定相同；用矩法估計(jì)參數(shù)比較簡(jiǎn)單，但有信息量損失；極大似然估計(jì)法精度較高，但運(yùn)算較復(fù)雜；不是所有極大似然估計(jì)法都需要建立似然方程下面通過(guò)舉例來(lái)說(shuō)明：一、兩種方法估計(jì)量相同的情形:例：某電子管的使用壽命X （單位：小時(shí)）服從指數(shù)分布1 _工X : p（對(duì)）=e, x 0 （0 0）0 , other今取得一組樣本Xk數(shù)據(jù)如下，問(wèn)如何估計(jì) ?162950681001

14、301402702803404104505206201902108001100分析可用兩種方法：矩法估計(jì)和極大似然估計(jì).1）矩法估計(jì)1 x 八. EX =j+8 x - ee dx = e o e令X =e則可得e的矩法估計(jì)量為：0 = X.代入具體數(shù)值可得e的估計(jì)值為:1 寸 x =_! 5723 幻 318（小時(shí)）.n i=12）極大似然估計(jì)1、構(gòu)造似然函數(shù)當(dāng)xi0, （i=1,2, .,n）時(shí)，似然函數(shù)為1_1工L（e）=計(jì)薩 _e=e- e e i=/i i=12、取對(duì)數(shù)In L = _n In e 一 ： x.i=13、建立似然方程1 n n 1 x.一 x.l（x1,.,n ； e

15、）=n 小甘=e_n e e 心 i=1eded ln L - n + 二 x = 0. e e 2 i=1 ided In L n 1 ”=k + kx = 0.dee e 2 i=1 4、求解極大似然估計(jì)值1 5= S X = x, ni=1 i5、的極大似然估計(jì)值=1 私 X = X, ni=1 i帶入具體值得：0=-況 x-況 x = -5723 R 318（小時(shí)）.ni=1二、兩種方法不同的情形例：設(shè)總體概率密度為p（ xp（ x，9）=（9 + 1）x9 , 0,0 x 1;其他.求參數(shù)0的極大似然估計(jì)，并用矩法估計(jì)0 .1）極大似然估計(jì)法1.構(gòu)造似然函數(shù)0 x 1;其它r,m（9+ 1）n H 0 x 1;其它L（xL xn；9） = Ii=i i0,2.取對(duì)數(shù)：當(dāng) 0 xi1, （i=1,2, .,n）時(shí)ln L = n ln（9 +1） +9 In xi i=13、建立似然方程d In Ld9n971+ S In x. = 0,i=14、求解極大似然估計(jì)值-1,5、極大似然估計(jì)量為-1. ln Xii = 12)矩估計(jì)法X+2 八0 9+2EX =j1 x(9 +1) xo dx = -一 (9 +1) 09+ 20 9+2令0+1 = X,可彳 19的矩法計(jì)量為 9+ 29 = M = 土 - 2參考文獻(xiàn)：1、蘇均和主編：概率論與數(shù)理統(tǒng)計(jì)，上海財(cái)經(jīng)大學(xué)