1、論加權(quán)回歸與建模摘要：以加權(quán)回歸估計(jì)方法為核心，對林業(yè)上常用模型的異方差性進(jìn)展了研究，提出了能徹底消除異方差的最正確權(quán)函數(shù)。并對模型的評價(jià)指標(biāo)進(jìn)展了討論，提出了評價(jià)通用性回歸模型的3大指標(biāo)，并分析了加權(quán)回歸估計(jì)與這些評價(jià)指標(biāo)之間的關(guān)系。最后對樣本資料的搜集進(jìn)展了討論，提出了搜集建模樣本應(yīng)遵循的根本原那么。關(guān)鍵詞：加權(quán)回歸建模異方差模型評價(jià)林業(yè)數(shù)表模型是森林經(jīng)營決策必不可少的計(jì)量、預(yù)測、評價(jià)根據(jù)，保證模型質(zhì)量至關(guān)重要，而樣本組織、模型擬合方法和模型評價(jià)是保證質(zhì)量的3個(gè)重要環(huán)節(jié)。理論證明，林業(yè)數(shù)表模型所描繪的問題普遍存在異方差性，在模型擬合中假設(shè)不采取消除異方差影響的有效方法，必然導(dǎo)致模型有偏。為

2、此，一般可采取加權(quán)最小二乘法擬合模型，但在權(quán)函數(shù)的選擇上尚存在兩個(gè)有待進(jìn)一步解決的問題：一是權(quán)函數(shù)的形式因模型所描繪的事物的性質(zhì)不同而異，確定最正確權(quán)函數(shù)非常繁瑣；二是到目前為止，尚未找出能完全消除異方差的權(quán)函數(shù)。本文旨在提出一種可以完全消除異方差影響的權(quán)函數(shù)通式，并給出正確評價(jià)模型的指標(biāo)體系及組織建模樣本的根本原那么。1加權(quán)回歸的概念確定變量之間的回歸關(guān)系，一般情況下是利用普通最小二乘法。假設(shè)隨機(jī)變量y,其中，E(y)=f(x)。也就是說，隨機(jī)變量y與x滿足以下模型：y=f(x)+(1)式中的有3個(gè)根本假定，即“獨(dú)立、正態(tài)、等方差，它們是采用普通最小二乘法建立回歸模型的先決條件。3個(gè)條件中的

3、“獨(dú)立與“正態(tài)在一般情況下都是根本滿足的，而“等方差這一條件，那么在很多情況下都難以滿足。為解決誤差項(xiàng)的異方差性問題，應(yīng)設(shè)法校正原有的模型，使校正后的模型其誤差項(xiàng)具有常數(shù)方差，而模型的校正取決于方差2i與自變量xi之間的關(guān)系。假設(shè)i的方差與xi的函數(shù)g(xi)呈比例關(guān)系，即：2i=g(xi)2(2)這里2是一個(gè)有限常數(shù)。于是用去除原有模型，可使新模型的誤差項(xiàng)具有常數(shù)方差。用這種方法估計(jì)模型中相應(yīng)的參數(shù)，叫做加權(quán)最小二乘法(俞大剛，1987)。2權(quán)函數(shù)的選擇2.1異方差性的根本概念根據(jù)回歸估計(jì)理論，當(dāng)建立的回歸模型的誤差項(xiàng)存在異方差時(shí)，必須采用加權(quán)最小二乘法來消除異方差對參數(shù)估計(jì)的影響。在林業(yè)上

4、所涉及的許多數(shù)學(xué)模型，如材積模型、生物量模型、生長率模型、削度模型等，其誤差項(xiàng)的方差都不為常數(shù)，而是隨解釋變量的變化而變化(駱期邦等，1992；曾偉生等，1992；曾偉生，1996)。一般而言，模型預(yù)估值隨解釋變量的增大而增大時(shí)，其誤差項(xiàng)的方差也隨解釋變量的增大而增大，如材積模型和生物量模型；模型預(yù)估值隨解釋變量的增大而減小時(shí)，其誤差項(xiàng)方差也隨解釋變量的增大而減小，如生長率模型。在殘差圖上反映出來，二者都為喇叭型。另外，預(yù)估變量的變化范圍愈大，異方差性一般也愈明顯。因此，采用適當(dāng)形式縮小預(yù)估變量的變動幅度，可在一定程度上消除異方差性。如將材積轉(zhuǎn)化為形數(shù)來建模，可將預(yù)估變量的取值大致控制在0.3

5、50.65的范圍，使預(yù)估值的最大相差倍數(shù)從數(shù)千倍縮小至2倍以內(nèi)，從而根本上消除了異方差性。將生長量轉(zhuǎn)化為生長率再建模，也在很大程度上縮小了預(yù)估值的變動幅度，可明顯削弱其異方差性。2.2權(quán)函數(shù)選擇的研究現(xiàn)狀上面提到的一些常用模型，由于存在異方差，因此必須選用適當(dāng)?shù)臋?quán)函數(shù)來進(jìn)展加權(quán)回歸估計(jì)。關(guān)于這一點(diǎn)，近幾年已經(jīng)逐步有了認(rèn)識。如對材積模型V=aDbH的估計(jì)，一般認(rèn)為選用權(quán)函數(shù)=1/(D4H2)可有效地消除異方差的影響(駱期邦等，1992)；對生長率模型PV=aDbA的估計(jì)，取權(quán)函數(shù)=1/(D2A)效果較佳(曾偉生等，1992)。而且，還認(rèn)識到了最適宜的權(quán)函數(shù)是針對某一個(gè)模型而不是某一類模型(曾偉生

6、，1992)。但是，針對一個(gè)詳細(xì)的回歸模型，如何確定其最適宜權(quán)函數(shù)的問題仍然沒有得到圓滿解決。一般情況下，假設(shè)不具有異方差性形式的信息，可通過對剩余值ei=g(xi)進(jìn)展試驗(yàn)，以挑選出一種適宜的擬合形式(俞大剛，1987)。另外，也有人提出直接尋找方差S2Ei與自變量xi的關(guān)系式S2ei=g(xi)，再以=1/g(xi)為權(quán)函數(shù)進(jìn)展加權(quán)回歸，新模型的誤差項(xiàng)方差S2ei就會近似為常數(shù)1。還進(jìn)一步提出了較具通用性的拋物線形式的權(quán)函數(shù)，并獲得了較好的效果(曾偉生，1996)。但是這樣來確定權(quán)函數(shù)，一方面比較繁瑣；另一方面也難保證拋物線形式能適宜所有模型，尤其是含多個(gè)自變量的模型；再就是必須有比較大的

7、建模樣本才可能得到誤差項(xiàng)方差與變量x之間的回歸關(guān)系。誠然，在此根底上還可以作些改進(jìn)，如：借鑒曾偉生文(曾偉生等，1997)中可變參數(shù)模型的設(shè)計(jì)，將狹義的拋物線形式y(tǒng)=a+bx+x2擴(kuò)展為廣義的拋物線形式y(tǒng)=a+bxn+(xn)2(n=0.5,1,2)以更好地適應(yīng)各個(gè)模型不同程度的異方差性；從自變量集中選出最主要的變量(如材積模型中的直徑)來構(gòu)造權(quán)函數(shù)等。即使這樣，效果仍然不太理想。2.3最正確權(quán)函數(shù)確實(shí)定前面已經(jīng)提到，最正確權(quán)函數(shù)是針對某個(gè)模型而不是某類模型，即同類模型中不同的回歸方程式應(yīng)有不同的最正確權(quán)函數(shù)?；谶@一認(rèn)識，我們再來對一些經(jīng)典模型及其適宜權(quán)函數(shù)作進(jìn)一步分析。不難發(fā)現(xiàn)，認(rèn)為以=1

8、/(D2H)2為權(quán)函數(shù)效果較好的材積模型V=aDbH,其參數(shù)b、的估計(jì)值分別接近于2和1；以=1/(D2A)為權(quán)函數(shù)的生長率模型PV=aDbA,其參數(shù)b、的估計(jì)值分別接近于1和0.5。最近筆者還發(fā)現(xiàn)，形如=a(D2H)b的生物量模型，取=1/(D2H)2為權(quán)函數(shù)效果也很佳，此時(shí)b的估計(jì)值接近于1。假設(shè)定義=1/g(x)2為權(quán)函數(shù)，因?yàn)樯鲜瞿Ｐ椭械膮?shù)估計(jì)值與權(quán)函數(shù)中的相應(yīng)參數(shù)值接近，故模型兩邊同時(shí)除以g(x)時(shí)，右邊都近似等于參數(shù)a;假設(shè)權(quán)函數(shù)中的相應(yīng)參數(shù)取模型的參數(shù)估計(jì)值，那么模型兩邊同除g(x)時(shí)右邊就會恒等于參數(shù)a了。更進(jìn)一步，假設(shè)?。?1/f(x)2(3)作為權(quán)函數(shù)，那么模型兩邊同除以

9、f(x)后得到的新模型，右邊都等于1?？梢宰C明，此時(shí)得到的新模型，其誤差項(xiàng)的期望值為0，方差為常數(shù)。亦即，以模型本身構(gòu)造的權(quán)函數(shù)就是要尋找的最正確權(quán)函數(shù)。這剛好應(yīng)證了“不同模型有不同的最正確權(quán)函數(shù)的觀點(diǎn)。該模型為：y=f(x)+(4)兩邊同時(shí)除以f(x)得新模型：y=y/f(x)=1+/f(x)=1+(5)對新模型(5)采用普通最小二乘法進(jìn)展估計(jì)(相當(dāng)于原有模型(4)的加權(quán)回歸估計(jì))，有：(6)下面討論新模型誤差項(xiàng)的性質(zhì)。期望值：E()=E/f(x)=Ey/f(x)-1由(6)式知，Ey/f(x)=1,故E()=0。方差：式中f(ei)為頻數(shù)(董德元等，1987)?？捎媒颖緦ι鲜龇讲頓()

10、作出如下無偏估計(jì)：因此，新模型誤差項(xiàng)的期望值為0，其方差為常數(shù)，即對所有xi來說，每個(gè)i的方差都一樣；滿足等方差的條件。至此可以得出結(jié)論：以模型本身構(gòu)造的權(quán)函數(shù)(3)式就是要尋找的最正確權(quán)函數(shù)。(8)平均相對誤差絕對值(9)預(yù)估精度(10)或，預(yù)估誤差(11)式中：yi為實(shí)測值；i為預(yù)估值；n為樣本單元數(shù)；t為置信程度時(shí)的t分布值；T為回歸模型參數(shù)個(gè)數(shù)；為平均預(yù)估值，可由f()給出。另外，因?yàn)檫@類回歸模型必須具有通用性質(zhì)，需滿足隨自變量x從小到大時(shí)模型的上述指標(biāo)應(yīng)根本保持一致，所以還需分段對上述指標(biāo)作出評價(jià)。應(yīng)特別強(qiáng)調(diào)的一點(diǎn)是，因?yàn)橄鄬φ`差公式一般表示為：從而在林業(yè)應(yīng)用上對(7)9式過去幾乎都

11、是寫成(預(yù)估值-實(shí)測值)/實(shí)測值，即習(xí)慣性地將實(shí)測值當(dāng)成了真值。將實(shí)測值當(dāng)真值正確與否，需視詳細(xì)情況而定。如某一株D=20、H=15的杉木，經(jīng)實(shí)測其材積為0.243。假設(shè)用于立木材積的目測訓(xùn)練，正確的做法自然是將0.243作為該樹的材積真值來檢測每個(gè)人的目測程度；假設(shè)是用于立木材積表的編制，那么0.243只是滿足D=20、H=15這一條件的某株杉木的材積實(shí)測值，在這種情況下不存在真值的概念，而只有實(shí)測值與預(yù)估值(或期望值)之分。誤差計(jì)算在林業(yè)數(shù)表領(lǐng)域的應(yīng)用根本上都是后一種情形，因此一般應(yīng)采用前面給出的(7)(9)式。預(yù)估精度(10)式或預(yù)估誤差(11)式是筆者提出的評價(jià)通用性模型的新指標(biāo)，從后

12、面的討論將看到，它是反映模型預(yù)估效果的最重要的評價(jià)指標(biāo)。它的成立需滿足條件總體為正態(tài)分布這一前提條件。對于林業(yè)消費(fèi)應(yīng)用中的絕大多數(shù)情況，這一條件都是根本滿足或近似滿足的。3.2模型評價(jià)與加權(quán)回歸為了說明加權(quán)回歸方法對建立通用性模型的重要性，現(xiàn)以一組實(shí)測數(shù)據(jù)為例，來對普通最小二乘法和加權(quán)最小二乘法得出的模型進(jìn)展評價(jià)。所用數(shù)據(jù)為杉木地上部分干物質(zhì)生物量，采集自江西省德興市的人工杉木林中。共計(jì)50株樣木，來自6個(gè)樣地，樣地按幼、中、成3個(gè)齡組和中、好兩個(gè)立地等級各分布1塊。假設(shè)從建立立木生物量模型這一目的考慮，所用數(shù)據(jù)嚴(yán)格講并不符合建模要求(后面將討論到)，但用作不同方法結(jié)果的比照是可以的。表1給出

13、了常規(guī)生物量模型=a(D2H)b兩種回歸估計(jì)方法的比照結(jié)果，表2列出了(7)(10)式的評價(jià)指標(biāo)值，其中包括將整個(gè)建模樣本按胸徑D的大小以株數(shù)平分為5段所算出的評價(jià)指標(biāo)值。從表1、表2可以明顯看出，盡管加權(quán)回歸(特指按前面的最正確權(quán)函數(shù)(3)式加權(quán)，下同)的殘差平方和為普通回歸的2.1倍，剩余標(biāo)準(zhǔn)差為1.4倍，但按(7)(10)式所給指標(biāo)進(jìn)展分段檢驗(yàn)的結(jié)果，加權(quán)回歸模型明顯優(yōu)于普通回歸模型。普通回歸模型隨自變量x從小到大各評價(jià)指標(biāo)從劣到優(yōu)，即主要只照顧絕對值大的樣點(diǎn)，而對絕對值小的樣點(diǎn)很少考慮。但是，加權(quán)回歸模型卻各段的檢驗(yàn)結(jié)果根本一致，而且加權(quán)回歸模型還有一個(gè)很好的特性，即總系統(tǒng)誤差為0，這

14、從(6)式可以推知。表1普通回歸與加權(quán)回歸估計(jì)的擬合結(jié)果Tab.1FittingresultsfrdinaryregressinandEightingregressinestiatin方法Regressinethd參數(shù)估計(jì)值(變動系數(shù)%)Paraeterestiates(effiientsfvariatin%)統(tǒng)計(jì)指標(biāo)StatistialindiesabQSRR*普通回歸rdinaryregressin0.029074(22.72%)0.94180(2.68%)2455.237.15200.991440.99126加權(quán)回歸eightingregressin0.069923(11.01%)0.8

15、3353(1.92%)5137.9110.34600.982010.98163表2普通回歸與加權(quán)回歸估計(jì)的檢測結(jié)果Tab.2Testresultsfrdinaryregressinandeightingregressinestiatin樣本范圍Saplesize普通回歸rdinaryregressin加權(quán)回歸eightingregressinRSERAPRSERAP全部Ttal1.26958.0025.5994.364.200.0014.1892.30第1段SetinN.143.35543.4554.3538.36-2.86-4.8610.4783.60第2段SetinN.233.05400.

16、1241.8461.384.1575.8222.9277.67第3段SetinN.35.7465.248.1491.45-6.79-72.349.8891.54第4段SetinN.4-4.67-58.4116.0386.10-6.87-91.6716.3585.71第5段SetinN.50.497.607.6191.7210.7693.0611.2885.564搜集建模樣本的根本原那么要建立一個(gè)好的通用性模型，對建模樣本是有一定要求的。如林業(yè)上一些通用性數(shù)表的編制，對樣本資料的要求在部頒技術(shù)規(guī)定(林業(yè)部，1990)中都作了詳細(xì)規(guī)定。但是也不難發(fā)現(xiàn)，其中對建模樣本的要求仍然不是很明確，還有必要再

17、作進(jìn)一步討論。4.1樣本單元數(shù)作為建模樣本，首先涉及樣本單元數(shù)的問題。文(中華人民共和國林業(yè)部，1990)中提到了一條原那么：“樣本單元數(shù)應(yīng)根據(jù)各項(xiàng)因子的變動范圍和精度要求按數(shù)理統(tǒng)計(jì)原理確定，但是對精度要求都是用“系統(tǒng)誤差這一指標(biāo)來規(guī)定的，如“蓄積量計(jì)量數(shù)表的系統(tǒng)誤差不超過3%。這里的系統(tǒng)誤差是(7)式的總相對誤差還是(8)式的總系統(tǒng)誤差或其它什么含義，并未明確。根據(jù)數(shù)理統(tǒng)計(jì)原理，表達(dá)精度要求的誤差概念應(yīng)該是(11)式所表示的預(yù)估誤差，這樣才可據(jù)此確定樣本單元數(shù)。作為通用性模型，預(yù)估精度是針對每一個(gè)預(yù)估值而言，因此必須落實(shí)到與每一個(gè)自變量xi所對應(yīng)的預(yù)估值i。對于林業(yè)上的常用模型，xi為連續(xù)變

18、量，因此應(yīng)該在其取值范圍內(nèi)確定個(gè)能反映因變量yi的變化規(guī)律的點(diǎn)，再分別根據(jù)與這個(gè)xi所對應(yīng)的yi的變動系數(shù)及精度要求，確定各點(diǎn)的子樣本單元數(shù)，個(gè)子樣本單元數(shù)之和即為整個(gè)建模樣本的單元數(shù)。只有當(dāng)各點(diǎn)的變動系數(shù)一樣，其對應(yīng)的子樣本單元數(shù)才要求相等。上面只是考慮一個(gè)自變量的情況。假設(shè)有多個(gè)自變量，那么情況要復(fù)雜一些，但原那么一樣。以二元立木材積表的編制為例，首先需定出個(gè)直徑值，再針對每個(gè)直徑值定出k個(gè)樹高值，最后按一定要求搜集k個(gè)子樣本，合起來形成整個(gè)建模樣本。假定每個(gè)子樣本有一樣的變動系數(shù)(如10%)，按5%的預(yù)估誤差要求(置信程度95%)，那么各需16個(gè)樣本單元(取t0.05=2,實(shí)際操作時(shí)應(yīng)隨

19、n作調(diào)整)。按最低限度取=5、k=3,那么共需240個(gè)樣本單元。假設(shè)要求預(yù)估誤差為3%，且其它條件不變，那么共需667個(gè)樣本單元。一般情況下，材積變動系數(shù)會隨D、H的增大而增大，因此，假設(shè)建模樣本中對應(yīng)較大D、H組合的點(diǎn)所取子樣本單元數(shù)較少，那么必然會造成大徑級立木的材積估計(jì)值達(dá)不到預(yù)定的精度要求。4.2樣本構(gòu)成樣本構(gòu)成指樣本單元數(shù)隨自變量的分布情況。仍以二元立木材積模型為例，樣本構(gòu)成涉及上述、k確實(shí)定及每一個(gè)子樣本中詳細(xì)建模樣木的選齲關(guān)于徑級數(shù)和每個(gè)徑級中的樹高級數(shù)k，文(中華人民共和國林業(yè)部，1990)中建議分別在1015左右和不少于3個(gè)。因?yàn)椤的大小直接影響搜集樣本的工作量，提供一個(gè)最

20、低限度指標(biāo)是必要的。對于材積模型，因?yàn)槠淝€變化趨勢比較單一，故取=58、k=35即可。假設(shè)是變化趨勢比較復(fù)雜的模型(如“S型生長曲線)，可適當(dāng)增加至=710。在確定、k之后，詳細(xì)選取哪些徑級和樹高級時(shí)，應(yīng)掌握如下原那么：最孝中等和最大者必選，然后再在其間適當(dāng)增選；目的變量變化規(guī)律未知時(shí)考慮等距均勻分布，變化規(guī)律時(shí)宜典型選取，其中變曲點(diǎn)處必眩由于樹高級確實(shí)定是在已定徑級根底上進(jìn)展的，故應(yīng)考慮影響樹高變動的各種因素。詳細(xì)針對某一徑級和樹高級組合的子樣本，其樣木的選取必須考慮影響材積變動的各種因素，在根據(jù)各種影響因素劃分的類型中去典型選樣。因?yàn)楫惙讲钚缘拇嬖冢P者認(rèn)為各子樣本樣木的D、H應(yīng)盡可能地

21、一致，以正確地估計(jì)其平均數(shù)的方差和變動系數(shù)。盡管整個(gè)樣本看起來呈現(xiàn)離散性，但不會影響建模效果。相反，因?yàn)楦髯訕颖镜乃鸭嫉竭_(dá)了建模要求，只要模型選獲得當(dāng)，其預(yù)估精度是肯定可以到達(dá)預(yù)定要求的。樣本資料的搜集是建模的首要環(huán)節(jié)，其質(zhì)量好壞直接影響建模效果。通過模擬數(shù)據(jù)的比照檢驗(yàn)結(jié)果可以發(fā)現(xiàn)，一套理想的建模樣本數(shù)據(jù)，不管是采用普通回歸還是加權(quán)回歸估計(jì)方法，其結(jié)果幾乎是一致的。也即由一套好的樣本資料所建立的模型，其總相對誤差和總系統(tǒng)誤差都應(yīng)該接近于0。因此可以說，2種估計(jì)方法得出的回歸模型的差異大小，在一定程度上反映了建模樣本的質(zhì)量好壞。4.3檢驗(yàn)樣本與精度檢驗(yàn)建立通用性回歸模型時(shí)，一般要求在搜集建模樣

22、本的同時(shí)，還另收一套檢驗(yàn)樣本。如文(中華人民共和國林業(yè)部，1990)中提到搜集編表資料的另一條原那么：“要同時(shí)搜集編表和檢驗(yàn)兩套樣本，用編表樣本編表，用檢驗(yàn)樣本檢驗(yàn)所編數(shù)表的精度。檢驗(yàn)樣本的搜集原那么和方法類似于建模樣本，此處只著重討論檢驗(yàn)方法及這一檢驗(yàn)的必要程度。利用檢驗(yàn)樣本進(jìn)展所謂“適用精度檢驗(yàn)，必須分別徑級進(jìn)展。正確的方法應(yīng)是先按(7)式算出總相對誤差E，然后判斷它是否超過公式：(12)的計(jì)算結(jié)果。式中，V為檢驗(yàn)徑級的預(yù)估材積的變動系數(shù)，n為該徑級檢驗(yàn)樣本單元數(shù)，t為置信程度時(shí)的t分布值(自由度為n-T,T為模型參數(shù)個(gè)數(shù))。假設(shè)不超過，那么認(rèn)為模型是可以承受的。由(11)式知，(12)式

23、中的變動系數(shù)V可表示為：(13)式中Ep為檢驗(yàn)徑級的材積預(yù)估誤差，n為該徑級的建模樣本單元數(shù)，t為置信程度時(shí)的t分布值(自由度為n-T)。將(13)式代入(12)式，可得到承受模型的條件為：(14)假設(shè)n=n，那么只要檢驗(yàn)樣本的總相對誤差不大于建模樣本的預(yù)估誤差就行了。另外，(14)式還反映出了一條信息，即各徑級檢驗(yàn)樣本單元數(shù)必須滿足nT。從上述檢驗(yàn)方法可看出，整個(gè)檢驗(yàn)行為并不能提出一個(gè)反映所建回歸模型預(yù)估精度的指標(biāo)值，而只是作出一個(gè)可否承受模型的斷定。可以推斷，只要建模樣本的搜集符合要求，就根本上能以(1-)的概率作為承受模型的斷定，也即作出否決模型的斷定只是一個(gè)小概率事件。萬一真是出現(xiàn)此種情況，也只能按要求去完善樣本資料重新建模。因此，與其花費(fèi)一部分工作量去搜集檢驗(yàn)樣本，還不如在搜集建模樣本時(shí)多花點(diǎn)功夫以確保其質(zhì)量。真正表達(dá)回歸模型預(yù)測精度的，還是預(yù)估誤差這一指標(biāo)。5結(jié)論樣本資料搜集、回歸估計(jì)方法和模型評價(jià)是建立回歸模型的3個(gè)重要環(huán)節(jié)。建模樣本單元數(shù)必須根據(jù)預(yù)定精度要求和目的變量的變動系數(shù)及變化規(guī)律綜合確定。樣本的構(gòu)成關(guān)系到樣本的質(zhì)量，而樣本的質(zhì)量好壞將直接