1、精選優(yōu)質(zhì)文檔-傾情為你奉上精選優(yōu)質(zhì)文檔-傾情為你奉上專心-專注-專業(yè)專心-專注-專業(yè)精選優(yōu)質(zhì)文檔-傾情為你奉上專心-專注-專業(yè)第七章 非參數(shù)回歸模型與半?yún)?shù)回歸模型第一節(jié) 非參數(shù)回歸與權函數(shù)法 一、非參數(shù)回歸概念 前面介紹的回歸模型，無論是線性回歸還是非線性回歸，其回歸函數(shù)形式都是已知的，只是其中參數(shù)待定，所以可稱為參數(shù)回歸。參數(shù)回歸的最大優(yōu)點是回歸結果可以外延，但其缺點也不可忽視，就是回歸形式一旦固定，就比較呆板，往往擬合效果較差。另一類回歸，非參數(shù)回歸，則與參數(shù)回歸正好相反。它的回歸函數(shù)形式是不確定的，其結果外延困難，但擬合效果卻比較好。設Y是一維觀測隨機向量，X是m維隨機自變量。在第四章

2、我們曾引進過條件期望作回歸函數(shù)，即稱g (X) = E (Y|X) （7.1.1）為Y對X的回歸函數(shù)。我們證明了這樣的回歸函數(shù)可使誤差平方和最小，即（7.1.2） 這里L是關于X的一切函數(shù)類。當然，如果限定L是線性函數(shù)類，那么g (X)就是線性回歸函數(shù)了。 細心的讀者會在這里立即提出一個問題。既然對擬合函數(shù)類L(X)沒有任何限制，那么可以使誤差平方和等于0。實際上，你只要作一條折線(曲面)通過所有觀測點(Yi，Xi)就可以了是的，對擬合函數(shù)類不作任何限制是完全沒有意義的。正象世界上沒有絕對的自由一樣，我們實際上從來就沒有說放棄對L(X)的一切限制。在下面要研究的具體非參數(shù)回歸方法，不管是核函數(shù)

3、法，最近鄰法，樣條法，小波法，實際都有參數(shù)選擇問題(比如窗寬選擇，平滑參數(shù)選擇)。 所以我們知道，參數(shù)回歸與非參數(shù)回歸的區(qū)分是相對的。用一個多項式去擬合(Yi，Xi)，屬于參數(shù)回歸；用多個低次多項式去分段擬合(Yi，Xi)，叫樣條回歸，屬于非參數(shù)回歸。 二、權函數(shù)方法非參數(shù)回歸的基本方法有核函數(shù)法，最近鄰函數(shù)法，樣條函數(shù)法，小波函數(shù)法。這些方法盡管起源不一樣，數(shù)學形式相距甚遠，但都可以視為關于Yi的線性組合的某種權函數(shù)。也就是說，回歸函數(shù)g (X)的估計gn(X)總可以表為下述形式：（7.1.3）其中Wi(X)稱為權函數(shù)。這個表達式表明，gn(X)總是Yi的線性組合，一個Yi對應個Wi。不過W

4、i與Xi倒沒有對應關系，Wi如何生成，也許不僅與Xi有關，而且可能與全體的Xi或部分的Xi有關，要視具體函數(shù)而定，所以Wi(X)寫得更仔細一點應該是Wi(X；X1，,Xn)。這個權函數(shù)形式實際也包括了線性回歸。如果，則，也是Yi的線性組合。在一般實際問題中，權函數(shù)都滿足下述條件：（7.1.4）如果考慮在第五章介紹的配方回歸與評估模型曾有類似條件，不妨稱之為配方條件，并稱滿足配方條件的權函數(shù)為概率權。 下面我們結合具體回歸函數(shù)看權函數(shù)的具體形式。 1核函數(shù)法 選定Rm空間上的核函數(shù)K，一般取概率密度。如果取正交多項式則可能不滿足配方條件。然后令（7.1.5）顯然。此時回歸函數(shù)就是 （7.1.6）

5、2最近鄰函數(shù)法首先引進一個距離函數(shù)，用來衡量Rm空間中兩點u = (u1，um) 和v= (v1，vm) 的距離u-v。可以選歐氏距離，也可以選。為了反映各分量的重要程度，可以引進權因子C1，,Cn，使Ci也滿足配方條件。然后將距離函數(shù)改進為 （7.1.7）（7.1.8） 現(xiàn)在設有了樣本(Yi，Xi)，i=1,n，并指定空間中之任一點X，我們來估計回歸函數(shù)在該點的值g(X)。將X1，Xn按在所選距離意義下與X接近的程度排序： （7.1.9）這表示點與X距離最近，就賦以權函數(shù)k1；與X距離次近的就賦予權函數(shù)k2。，等等。這里的n個權函數(shù)k1,kn也滿足配方條件，并且按從大到小排序，即（7.1.1

6、0）就是 （7.1.11）若在Xi-X, i=1,n中有相等的，可將這n個相等的應該賦有的權取平均。比如若前兩名相等，X1-X=X2-X, 就令W1 = W2=。這樣最近鄰回歸函數(shù)就是（7.1.12）ki盡管是n個常數(shù)，事先已選好，但到底排列次序如何與X有關，故可記為ki(X)。 三、權函數(shù)估計的矩相合性 首先解釋矩相合性的概念。如果對樣本 (Yi，Xi)，i=1,n構造了權函數(shù)Wi = Wi (X)=WI(X;X1,Xn)，有了回歸函數(shù)g(X)的權函數(shù)估計，當Y的r階矩存在(E|Y|r0, 當n時， （7.1.15）(3)當n時， （7.1.16）則Wi是矩相合的權函數(shù)。 定理條件可以作一些

7、直觀解釋。條件(1)可以作如下理解，因為權函數(shù)是概率權，必有|Wi|1，i=1,n。于是（7.1.17）這里取的是C=1。因此條件(1)可以說不叫做一個條件。條件(2)是說，與X的距離超過一定值的那些Xi，對應算出來的權函數(shù)之和很小，也就是說，權函數(shù)的值主要取決于那些與X鄰近的Xi的值。這個條件合理。條件(3)是說，當n越來越大時，各個權系數(shù)將越來越小，這也是合理的要求。 在證明本定理之前，先證兩個引理。引理7.1.1 設概率權函數(shù)Wi適合定理7.1.1的條件(1)及(2)，又對某個r, E|f(X)|r0，存在0，當u-v時，|f(u)-f(v)|(/2)1/r。于是（7.1.19）其中，此

8、處X表示具體取值。由條件(2)，上式右邊第二項依概率收斂于0且不大于1。依控制收斂定理有（7.1.20）故存在n0，使當nn0時，有 （7.1.21）因此當nn0時，有 （7.1.22）于是對這種一致連續(xù)的f，引理得證。 證畢對一般的函數(shù)f，取一個在Rm上連續(xù)，且在一有界域之外為0的函數(shù)，使，且，這里是事先指定的。因為（7.1.23）右邊括號里第三項等于；第一項根據(jù)條件(1)不超過；因為在Rm上有界且一致連續(xù)，由前面已證結果知當n時，第二項將趨于0。因此（7.1.24）是任意的，故引理得證。證畢引理7.1.2 設Wi為滿足定理7.1.1三個條件的概率權，函數(shù)f非負且，則（7.1.25）證明 定

9、義一組新的概率權函數(shù)，由于0Wi1, 故01。于是由引理7.1.1，有 （7.1.26）因為01，由條件(3)知 （7.1.27）故由控制收斂定理有 （7.1.28）綜合兩個極限式可知本引理成立。證畢 下面我們證明定理7.1.1。先設r=2, 則E(Y2)。令（7.1.29）由E(Y2)知E(Z2)，故h (X) = E (Z2|X)（7.1.30）存在。又（7.1.31）還須注意：f (Xi) = E (Yi|Xi) (而非E (Y|Xi)。因此按定義而因為 (X，Y) 與 (Xi，Yi)同分布，有E (Y|X=x) = E (Yi|Xi=x)。故現(xiàn)有（7.1.31）因 E | f (X)

10、|2，依引理7.1.1，有（7.1.32）又若將X固定為x，則有（7.1.33）注意到當X固定為x而X1，, Xn也給定時，Wi (x)成為常數(shù)，而Z1，, Zn在給定X1，Xn時，條件相互獨立，再注意到E (Zi |Xi)=0，由上式有因此式對一切x都成立，有 （7.1.34）考慮到E (h (X)，h0，由引理6.4及上式，知 （7.1.35）合并考慮 (7.1.31)，(7.1.32) 和上式，得。這證明了定理當r=2的情況。 現(xiàn)在設r1,E |Y| r0，先找K0，使當K K0時，對一切n成立 (7.1.40)。又依 (7.1.41)，找K1，使當KK1時有E | E ( Y | X

11、)- E ( Y(K) | X )| r/3。固定K = max ( K0, K1)。根據(jù)上式，存在n0, 使當nn0時（7.1.45）這時由 (7.1.42)推出：當n n0時有 （7.1.46） 這就證明了權函數(shù)的矩相合性。證畢關于權函數(shù)估計的收斂性質(zhì)還有更多更深入的討論，如逐點矩相合性，強相合性等，有興趣的讀者可參看有關專著。這里引述Stone的成果，一是因為它是基本的，可以作為入門的引子；二是因為它是一般的，概括了核估計、最近鄰估計、樣條估計、小波估計等具體形式。算例7.1.3 一元非參數(shù)回歸本算例利用核估計給出一元非參數(shù)回歸。計算過程如下。-一般非參數(shù)回歸模型計算程序, 例 7.1.

12、4 模型及數(shù)據(jù)結構說明:本項程序計算一般非參數(shù)回歸模型: Y(i)=g(t(i) +(i) i=1,2,.,n, 0= t =1 其中函數(shù) g 未知待估.資料準備要點: 因變量 Y 在數(shù)據(jù)第一列, 自變量 t 是 1 維, 例713.D 數(shù)據(jù)文件中, n=50要打印原始資料嗎? 0= 不打印, 1= 打印 (1)打印 Y 的原始資料 1. 1. 1. 2. 0. 1. 1. 0. 1. 1. 0. 1. 1. 1. 1. 0. 0. 0. 1. 1. 1. 1. 1. 1. 1. 1. 0. 0. 0. -0. 0. 0. 1. 0. 0. 0. 0. 0. 1. 1. 1. 0. 0. 1.

13、 1. 1. 0. 1. 1. 0.打印 X 的原始資料 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.請決定非參數(shù)回歸的方法: （0） 0= 固定自變量窗寬的核函數(shù)法. 這需要事先將自變量變換為 0=t=1. 1= 固定自變量資料點數(shù)的平滑法. 這需要自變量資料等距并順序排列.請鍵入核函數(shù)的窗寬選擇h(1/N=h0，由條件 (7.2.7)，存在

14、充分大的T0，使 （7.2.10）這里，并且（7.2.11）于是（7.2.12）由的任意性，可知。這就說明fn(x)是f(x)的漸近無偏估計。再利用X1，,Xn的獨立性，有（7.2.13）類似于漸近無偏性的證法可得 （7.2.14）于是（7.2.15）這就說明對一切x，fn(x)均方收斂于f(x)，因此，這就證明密度核估計的相合性。 二、使用正交多項式核的密度及其偏導數(shù)核估計的收斂速度 上一段研究的密度核估計的收斂性，針對的是使用概率密度核函數(shù)K，它非負，積分為1，從而可以肯定保證密度核估計函數(shù)fn(x)非負且積分為1。只是它的收斂速度不會超過。為了提高收斂速度，統(tǒng)計工作者使用正交多項式作理論

15、上的研究，取得不少成果。這里介紹的是本書作者的研究成果，近期發(fā)表在國際數(shù)學雜志“Communications in Statistics”上。它是直接研究多元密度，并連帶一般偏導數(shù)的核估計給出收斂速度。記多元密度f(t)的s階混合偏導數(shù)為（7.2.16）這里。使用多元核函數(shù)作出f(s) (t)的估計如下：（7.2.17）其中是構造核函數(shù)的正交多項式空間維數(shù)，可以任意取定。不僅決定于s, 而且決定于s1, sp,且滿足：（7.2.18）其中u0是一正常數(shù)，u = (u1,up)。我們以C表示某一合適常數(shù)，各個C可不相同。 還滿足：（7.2.19）這種多元核函數(shù)可以如下構造：（7.2.20）其中是

16、普通一元核函數(shù)，滿足：（7.2.21）及（7.2.22） 這種核函數(shù)具體構造及改進我們放到下一段再統(tǒng)一研究。下面研究的收斂性。我們假定偏導函數(shù)局部有界，即存在與對t的各分量求偏導次數(shù)r1,rp無關的，0, r1+rp = r, 使當，且tXt且t+Xt時，有 （7.2.23）這里Xt是t的樣本空間。同理定義f(t)局部有界。En () 表示對n個樣本求數(shù)學期望。定理7.2.1 設f (r) (t), f(t)局部有界，則 （7.2.24）（7.2.25）證明 由t(1),t(n) 的i.i.d.，令，注意，有（7.2.26）再由多元Taylor展式、多項展式及核函數(shù)正交條件得（7.2.27）這

17、里，由f(r) (t)局部有界，核函數(shù)有界，積分域有界，可得 (7.2.24)。又 （7.2.28）（7.2.29）可知 (7.2.25)成立。證畢在s=1時，由 (7.2.16) 我們把都記作了f(1) (t), 把它們排成向量得。相應也代表了p種核估計。由 (7.2.17)知它們的核函數(shù)構造不同，滿足的正交條件不同，也把它們排成向量得。由定理 (7.2.2)有（7.2.30）進一步有（7.2.31）設122，由 Jensen 和不等式有（7.2.32）于是有 推論1 設，（7.2.33） （7.2.34）這就證明了使用正交多項式核的密度及其偏導數(shù)核估計的收斂速度。在本書第十章第四節(jié)要引用這

18、些結果。 三、密度核估計的連續(xù)性及光滑性 這一段介紹本書作者提出的一種正交多項式，用它構造的一元到多元密度及其偏導數(shù)的核估計，在樣本抽定時，保持連續(xù)性，在樣本數(shù)趨于無窮時可以保持好的收斂速度。密度核估計是一隨機函數(shù)，它利用隨機抽得的歷史樣本x(1) ，x (n) 構造fn (x)，去估計母體的密度f(x)。它的收斂性是一種大樣本性質(zhì)。對于一個具體的核函數(shù)和一個具體的fn (x)的構造，一旦歷史樣本抽定轉入統(tǒng)計計算，fn (x)就是一個普通的函數(shù)。這時我們自然要考慮它的分析性質(zhì)，例如連續(xù)性和光滑性。因此，密度核估計的連續(xù)性和光滑性是對任意抽定的歷史樣本而言，它是一種小樣本性質(zhì)。從統(tǒng)計計算的角度，

19、僅僅研究大樣本性質(zhì)是不夠的。如果核估計呈跳躍間斷，得到的參數(shù)估計將隨當前樣本x的連續(xù)變動而發(fā)生劇烈跳躍，使其難以進入實用，許多文獻要么忽略了核函數(shù)的構造，要么給出的核函數(shù)不滿足連續(xù)性光滑性，Lin(1975)構造密度及其(偏)導數(shù)核估計如下。（7.2.35）（7.2.36）他進一步具體給出了正交多項式的構造，在n=3時我們畫出所給函數(shù)式的圖像。K1(u)uu120-4811K0(u)09圖7.2.3.1. 當0u1時，（7.2.37）（7.2.38）顯然這樣的fn (x)與都不連續(xù)。我們試圖尋找截斷后仍然連續(xù)的正交多項式，從而使密度及其(偏)導數(shù)的核估計連續(xù)，同時保持較高的收斂速度。 我們先考

20、慮一元密度核估計的連續(xù)性、光滑性、收斂性。以下給出的正交多項式與Lin給出的正交多項式區(qū)別在于連續(xù)性和光滑性，其正交性是一樣的。（7.2.39）（7.2.40）（7.2.41）令H是r階行列式，其第1至r-1行的元素為，第r行元素全為1。將H的第一行換上(u/ut)j得H0，將H的第二行換上(u/ut)j得H1，ut是一常數(shù)。顯然H0(0) = H0 (ut) = H1(0) = H1(ut)=0。 再令（7.2.42）（7.2.43）則又K0(0) = K0(ut)=0，可見K0是滿足正交性及連續(xù)性的核函數(shù)。在r = 3, ut=1時我們畫出它的圖形 (圖7.2.3.2)。當0uut=1時（

21、7.2.44）同樣容易驗證K1(u)的正交性及連續(xù)性。K1(0)=K1(ut)=0 在這樣的構造里，密度核估計的光滑性通過密度導數(shù)核估計的連續(xù)性實現(xiàn)。下面我們再說明多元密度核估計的連續(xù)性、光滑性及收斂性。u-2K04圖7.2.3.2設有p元密度f(x), x = (x1, xp), 對于其各階混合偏導數(shù)，我們使用多元核函數(shù)，作出它的估計：（7.2.45）其中 （7.2.46）同時要求fn在全空間連續(xù)，即（7.2.47）多元核函數(shù)要滿足： （7.2.48）（7.2.49）且這種多元核函數(shù)構造如下：（7.2.50）其中是普通一元核函數(shù)，滿足（7.2.51）（7.2.52）且。 這種一元核函數(shù)構造如

22、下：作行列式，其中第1至r-1行元素為，最后一行元素全為1，將其第ti+1行換上，得r階行列式（7.2.53）（7.2.54）再令（7.2.55）這樣我們已經(jīng)構造了多元密度及其偏導數(shù)的核估計并驗證了它們的連續(xù)性、光滑性及收斂性。 四、改進多元密度核估計的交互投影迭代算法本段介紹交互投影算法在改進多元密度核估計非負性方面的應用。多元密度核估計是（7.2.56） 這里K ()是核函數(shù)，x(j)，j=1,n，是樣本。如果K()是一個概率密度函數(shù)，(非負、積分為1)，則fn(x)的均方誤差的收斂速度不會超過O ( n-4/5)。如果K ()是一個正交多項式，則fn(x)的均方誤差的收斂速度可以任意接近

23、O (n-1)，但這時fn(x)不再能保證非負、積分為1。Gajek (1986)利用凸集間的交互投影迭代算法來改進用正交多項式構造的一元密度核估計。該算法可以將fn (x)改進為非負且積分為1的函數(shù)，同時保證它的均方誤差收斂速度不變，本段將Gajek的方法用之于多元密度核估計，并為它重新寫了證明。 多元密度核估計的詳細構造上段已述。下面先敘述屬于Gajek的迭代算法。對于fn(x)定義加權的均方誤差式（7.2.57）這里h是一個非負的權函數(shù)。應該說R (fn, f)是一個合適的評價標準。迭代算法是： (1)令，且置k = 0; (2)令，再檢查。若Ck+1=1，則令而完成迭代；(3)令； (

24、4)置k=k+2并轉向步驟(2)。 從幾何直觀上看，步驟(2)就是去掉函數(shù)的負值而將其改寫為零，此時可能函數(shù)積分超過1。于是有步驟(3)，就是將函數(shù)整體向下拉一點，以使積分為1。此時可能又會有負值出現(xiàn)，于是重復步驟(2)。如此反復。Gajek證明了迭代過程收斂。定理7.2.2 設（7.2.58） （7.2.59）則 (1)上述迭代過程收斂，即存在，且。(2)在 (7.2.57)的加權均方誤差意義下，至少保持fn (x)的收斂速度，即（7.2.60）在正式證明定理7.2.2之前，我們先敘述三個引理，定義內(nèi)積 （7.2.61）令 （7.2.62）滿足(7.2.62)的全體p元函數(shù)構成內(nèi)積空間，由內(nèi)

25、積(7.2.61)導出的距離記作，在空間定義 （7.2.63） （7.2.64） （7.2.65）顯然，所有的F*，F(xiàn)+和F1都是凸集。引理7.2.1 設，且F0是一凸集，。則f0是fn在F0上的投影當且僅當，有（7.2.66）證略。引理7.2.2 令（7.2.67）則f+是fn在F+上的投影。利用引理7.2.1，證明是容易的。引理7.2.3 令 （7.2.68）則f1(x)是fn(x)在F1上的投影。 利用引理7.2.2，證明也是容易的。 現(xiàn)在我們敘述定理7.2.2的證明： (1) 因為F*非空，F(xiàn)+和F1之間的距離為零。由引理7.2.2和引理7.2.3我們知定理7.2.2的迭代算法也就是兩

26、個凸集間的交互投影。這個迭代過程一定收斂，設收斂于，。 (2)由引理7.2.5 ，有（7.2.69）在k次迭代后，我們有（7.2.70）令k并取數(shù)學期望，由Fubini定理，我們有 （7.2.71）證畢實際計算時可以取控制精度，在步驟2中Ck+1=1可用Ck+1-1替代，因為與x無關，所以有如下形式（7.2.72）這里常數(shù)。 算例7.2.4 隨機數(shù)發(fā)生、直方圖顯示與密度核估計本算例程式有4個功能：發(fā)生給定密度函數(shù)的隨機數(shù)；作直方圖(二維或三維)；作餅圖；作密度函數(shù)的核估計。其中發(fā)生隨機數(shù)的程序附有常見分布16種，參數(shù)也隨使用者指定。如果還要另外的函數(shù)，也只需改寫一行。作直方圖與餅圖程序是用C語

27、言寫的，彩色顯示，10個區(qū)間或20個區(qū)間色彩各不相同，十分絢麗，調(diào)用也十分方便。先發(fā)生偽隨機數(shù)。-16 種指定分布的隨機數(shù)發(fā)生程序 最多發(fā)生 5000 個隨機數(shù)請指定需要發(fā)生的隨機數(shù)的分布函數(shù)代碼 1: 標準正態(tài)分布 N(0,1) 2: 一般正態(tài)分布 N(,) 3: 卡方分布 2 4: t 分布 5: F 分布 6: 對數(shù)正態(tài)分布 7: WEIBULL 分布 8: 指數(shù)分布 9: 柯西 (CHUCHY) 分布 10: 貝塔分布 (2,2) 11: 均勻連續(xù)分布 U(0,1) 12: 均勻離散分布整數(shù) 13: 負二項分布 14: 幾何分布 15: 超幾何分布 16: 泊松分布 請輸入需要發(fā)生的隨

28、機數(shù)個數(shù) n (x1,x2,.xn), n = ? (500)請輸入發(fā)生隨機數(shù)的種子(任一奇數(shù)) NRAN (11)請輸入 t 分布的自由度 (10)要顯示發(fā)生的隨機數(shù)嗎? 0= 不顯示, 1= 要顯示 (0)資料存在哪個文件中? 0= 不存盤 1= C21.D, 2= C22.D, 3= C23.D, 4= C24.D, 5= C25.D 6= C11.D, 7= C12.D, 8= C13.D, 9= C14.D, 10= C15.D正將數(shù)據(jù)文件存盤, 請稍侯 資料已存盤,計算結束。 - 再將剛才發(fā)生的偽隨機數(shù)用直方圖顯示。圖7.2.4.1下面我們再對上述偽隨機數(shù)出出密度核估計。-密度函數(shù)

29、核估計計算程序, 例 7.2.5 請輸入資料長度(觀測點數(shù), li725.d是500) N: （500）要顯示原始數(shù)據(jù)文件嗎? 0=不顯示; 1=顯示. （0）請選擇密度估計的核函數(shù): （） 1: K(x)=1-|x|, |x|1; 2: K(x)=exp(-x*x/2)/sqrt(2*3.1416); 3: K(x)=exp(-|x|)/2; 4: K(x)=1/(3.1416*(1+x*x); 5: K(x)=(1-x*x)*3./4., |x|1; 要想得到光滑的密度核估計圖像, 樣本數(shù)要多一些, 比如N=500; 窗寬適當, 比如 h=1-5; 要計算的核函數(shù)個數(shù)適當, 比如 M=20

30、-100。通過這些參數(shù)的調(diào)整, 一定可以得到比直方圖要好的密度核估計結果。窗寬大致相當于直方圖里 X 軸各個分組條形的寬度, 但核估計分組逐點改變.請輸入核函數(shù)窗寬 h ( h 須為正數(shù), 最好 h 1): （1）請輸入您想計算的密度核估計點數(shù) M ( 10=M0。極小化ISE(bt, bu)得到的窗寬記為 (bt,ISE，bu,ISE)極小化MISE(bt, bu)得到的窗寬記為 (bt,MISE，bu,MISE)。對于二元函數(shù)g的偏導數(shù)，我們記（7.2.80）對于支撐在-1,1上的W，令 （7.2.81）假定g有各二階連續(xù)偏導數(shù)，g(2,0)和g(0,2)不完全為0，核函數(shù)K是Lipsch

31、itz連續(xù)，bt+bu0, nbtbu，(n)。由標準的漸近理論可得（7.2.82）其中 （7.2.83）是漸近MISE。函數(shù)Itt，Iuu，Itu，If由下式給定：（7.2.84）（7.2.85）（7.2.86）（7.2.87）令 (bt,AMISE，bu,AMISE)表示極小化AMISE(bt, bu)得到的窗寬選擇： （7.2.88）（7.2.89）插入方法需要殘差方差2以及函數(shù)Itt，Iuu，Itu的估計。如果設計密度f未知，If可由下式估得： （7.2.90）下面我們介紹插入法窗寬的選擇。 我們先再回顧一下窗寬選擇的意義。大家可以想象直方圖，那些長條條的寬度就是窗寬。如果把那些長條條

32、取得特別寬，比如極言之，整個直方圖就一個長條條，那就太平滑了，變成了均勻分布。如果把長條條取得特別窄，比如極言之，一個長條條里至多只含一個樣本點，那些不含樣本點的長條條的高度就等于0，整個直方圖就亂起亂落。所以合適的窗寬選擇是有必要的。這里介紹的是 (bt, bu)的插入法選擇。我們使用下列偏導數(shù)的核估計：（7.2.91）（7.2.92）這里L2，M是核函數(shù)，t, u, t, u是窗寬，我們稱為試驗窗寬。將,代入Itt，Iuu，Itu的定義式里就可以得到它們的估計值，記作。選擇試驗窗寬的迭代法如下。令（7.2.93）這里與是在bt,AMISE與bu, AMISE的定義式里以代替2，以代替而得到

33、的。則獲得（）的迭代算法如下： （1）置初值 （2）對i =1,2, 迭代公式是 （3）在i*次迭代后停止并且令 ( 這個方法有些類似于搜尋固定點來確定窗寬。初值的設置取是根據(jù)經(jīng)驗，并非必要。膨脹系數(shù)是挑選來使?jié)u近最優(yōu)窗寬不依賴于c, d (當然要c0, d0)。窗寬與都有的收斂速度。實際演算時迭代次數(shù)大約是i*在5到9之間。 下面我們更具體給出算例。取核函數(shù)（7.2.94） （7.2.95）積分域A=(t, u)|0t1, 0u1,權函數(shù) （7.2.96）窗寬bt, bu有上界，下界取法則使 （7.2.97）覆蓋0.05，0.950.05，0.95。膨脹系數(shù)里，取c = 1.5，d = 0.

34、25。插入算法可以用于非矩形的設計密度支撐里，不過用于矩形支撐集當然更好。令密度 （7.2.98）設計點集 (ti, uj), i=1, nt , j=1, nu可由下式給出：（7.2.99） （7.2.100）相應的剖分集為 （7.2.101）i = 2, nt-1, j=2, nu-1?；貧w函數(shù)可取二元正態(tài)： （7.2.102）或者兩個二元正態(tài)的混合。ti, ui的設計密度f可取為線性： （7.2.103）或正態(tài) （7.2.104）nt與nu大約在10到20之間。有了這些參考消息，就差不多可以發(fā)生資料然后代入插入法迭代公式里計算了。Herrmann, Ward, Engel及Gasser

35、(1995)稱他們計算結果十分令人滿意。筆者認為這樣搞真是把簡單的問題弄復雜了。這樣一些資料成功，換一些資料不一定成功。窗寬選擇最重要的還是要憑經(jīng)驗與直觀觀察。如果先憑經(jīng)驗選窗寬，擬合一次后看圖像，再調(diào)整窗寬，那么把窗寬的自動選擇擱置一邊，單純的二元核回歸并不復雜，可以為成千上萬的普通讀者掌握。手中資料是Yi, Xi (ti, ui)。要擬合的模型是 (7.2.73)：Yi = g (ti, ui)+i, i=1, n，則由(7.2.77)有： （7.2.105） （7.2.106） （7.1.107）大家看，只剩下調(diào)整窗寬問題，簡單極了。第三節(jié) 非參數(shù)回歸模型的樣條擬合 一、樣條回歸的基本概

36、念 非參數(shù)回歸模型樣條擬合可以考慮多元函數(shù)，幾何形象就是作曲面擬合。不過多元樣條擬合的理論分析與計算難度要更大一些，Annals of Statistics在前兩年才有過一次較大規(guī)模的討論。我們這里只介紹清楚一元樣條擬合就可以了。 一元自變量的取值區(qū)間本來可以從-到+，經(jīng)過一個線性變換，總可以變到0,1。為了理論分析方便，我們限于考慮自變量定義域為0,1的情況。并且按一般有關文獻慣例，將自變量記作t。這樣我們要考慮的模型就是（7.3.1）其中g(t)是一個光滑曲線，(t)是白噪聲過程，E(t)=0，E(s)(t)=0，(st)，E(2(t)=2。Y (t)是t = t1, t2,tn, 0t1

37、t21時的觀察。我們的目的是根據(jù)資料Y (tj)=Yj, j=1,2,n來重構函數(shù)g。 根據(jù)混雜有白噪聲的觀察資料Yj, j=1,n去重構光滑函數(shù)g，這在統(tǒng)計學中叫非參數(shù)回歸，在數(shù)字信號處理中則叫信噪分離。使用信噪分離這個詞能幫助我們清楚理解非參數(shù)回歸的實質(zhì)。我們假定未知函數(shù)g的m階導數(shù)g(m)是平方可積的，記作絕對連續(xù)，v=0,1,m-1,g(m)L20，1，即函數(shù)g的估計記作gn，因為gn是根據(jù)Y1，Yn來作出的。如果單純考慮極小化 （7.3.2）怎么樣?這樣的函數(shù)f (t)可以精確通過每一點Yj，也可以光滑，還確實可以是樣條函數(shù)(由分段低次多項式光滑連接而成)?？墒沁@樣的擬合有什么實際意

38、義呢?噪聲沒有去掉。如果單純考慮極小化 （7.3.3）怎么樣呢?函數(shù)f倒是充分光滑，比如取f=c,則S2=0。噪聲是給去掉了，可是完全沒有考慮經(jīng)過任何一個Yi。真正是將嬰兒連同洗澡水一起潑掉了。于是就有了折衷的辦法，極小化（7.3.4）這里稱為光滑因子。當=0時，S = S1, 當=時，S = S2。的作用就是在“盡量通過數(shù)據(jù)點”與“盡量去掉白噪聲”之間取調(diào)和作用。滿足S的極小化的解，就取作非參數(shù)回歸模型的解gn (t)?？梢宰C明，這個解是2m-1次的平滑樣條多項式。由于這個解依賴于參數(shù)的選擇，故我們有時也記作gn,(t)，不過為省事，經(jīng)常記作gn(t)。 我們的任務就轉到怎樣確定參數(shù)。Rei

39、nsch (1967)建議，如果2已知的話，可取使（7.3.5）Wahba (1975) 在等距間隔資料及一定的平滑和周期條件下，得到的最佳選擇的理論結果。他所選擇的是如下誤差平方和的極小化結果： （7.3.6）理論分析結果表明，真正最佳的參數(shù)選擇，應該使(7.3.5)左端比右端稍微小一點。當然這個結果不太現(xiàn)實，小一點，到底小多少?同時2可能并不知道，函數(shù)g也是未知的。如果2是已知的，則一個好的可以按如下方法獲得。定義nn矩陣A()，它依賴于tj和，且滿足 （7.3.7）因為gn,(t)是Y1，,Yn的線性函數(shù)，所以A()是存在的。然后令 （7.3.8）這里Y= (Y1,Yn)，g = (g

40、(t1),g (tn)，范數(shù)是歐氏范數(shù)。經(jīng)過簡單的計算有 （7.3.9）可以證明，由下式定義的是ER()的無偏估計：（7.3.10）即可以證明 （7.3.11）因此，的極小化能得到的好的選擇。Mallows(1973)甚至用這樣的參數(shù)估計去作嶺回歸。Wahba等提出，當2未知時，的估計可以取作下式的極小化解（7.3.12）并把這個估計稱作廣義交叉核實 (Generalized Cross-Validation, GCV) 估計?？梢宰C明，在一定條件下，當n充分大時，在ER()的一個鄰域內(nèi)還可以證明，在合適條件下，存在序列，它是EV()的極小化解，且有性質(zhì)（7.3.13）下面我們敘述一下廣義交叉

41、核實GCV的動因。交叉核實的動因很簡單：設是使用了除第k個點以外 (也算是一種回避吧) 的所有數(shù)據(jù)點的平滑樣條，我們現(xiàn)在想用去預測Yk，用預測好壞來衡量的選擇好壞。用數(shù)學語言寫就是，設是下式的的函數(shù)解： （7.3.14）令 （7.3.15）原始的交叉核實就是取V0()的極小化解作為的估計。對于這個交叉核實辦法，在自變量等距離情形，Wahba與Wold曾研究過，并且用Monte Carlo實驗顯示V0()的極小化解是R()的極小化解的極好估計。實驗對各種各樣的g與2都顯示好的結果。理論研究則對自變量等距（）和為周期函數(shù)的情形獲得滿意的結果。我們把自變量等距且函數(shù)為周期函數(shù)稱為對稱場合。注意在對稱

42、場合所有數(shù)據(jù)點都是被對稱對待的。因此tk的預測誤差與其它點tj的預測誤差一樣。一般地，令（7.3.16）這里權Wk()是作為資料點可能非等距或者函數(shù)g非周期函數(shù)的一種補償。如果（7.3.17）k=1,2,n，其中akk()是A()的主對角元素，則 (7.3.16)中的V()就等于(7.3.12)中的V()，并且 (7.3.13)成立。于是我們得到序列Wk可使 (7.3.13) 成立。在證明 (7.3.13)成立的過程中我們得到了平滑樣條gn,。有趣的是，在自變量等距場合，在分段拼接Bernoulli多項式的時候，Gram矩陣是一個循環(huán)矩陣。這里的廣義交叉核實方法也被用來在求解Fredholm積

43、分方程時計算規(guī)則參數(shù)。 二、平滑樣條的構造上一段討論什么是樣條回歸，給出的是隱式解，是滿足（7.3.18）極小化的m次導數(shù)平方可積函數(shù)gn,，是2m-1次多項式。而平滑參數(shù)的最佳選擇是取廣義交叉核實函數(shù)（7.3.19）的極小化解。因此，我們應該尋求gn,與A()的顯式表達式。這可以借助于貝努里(Bernoulli)多項式。設Br(t),r=0,1,是t0,1上的Bernoulli多項式。它的定義是（7.3.20）其中積分常數(shù)的選擇應使（7.3.21）例如（7.3.22）下面我們介紹怎樣用這樣一些貝努里多項式構造平滑樣條函數(shù)的顯式解。令x表示x的小數(shù)部分，例如3.14=0.14，因此這個記號不是

44、通常的取整函數(shù)，而正好是相反。定義（7.3.23）當然，如果t(0，1)，t= t。令Lk，k=0,1,2,為一族線性函數(shù)（7.3.24）（7.3.25）則 （7.3.26）定義貝努里核kr(s, t)為（7.3.27）Abramowitz和Stegun(1964)證明了，貝努里核與貝努里多項式有如下關系： （7.3.28）并且可以驗證，對p=1,2,r-2及s, t0,1有（7.3.29） （7.3.30）（7.3.31） （7.3.32）（7.3.33） 有了這些準備，我們現(xiàn)在可以寫出用分段貝努里多項式表達的gn,的顯式表達式。定理7.3.2 若函數(shù)，函數(shù)gn,是極小化（7.3.34）的函

45、數(shù)f的解，則對nm, gn,是唯一的，并可表達為 （7.3.35）這里= (0,1,m)和= (1,2,n)由下列式子給出：（7.3.36）（7.3.37）（7.3.38）T是n(m+1)維的矩陣，其第jr的元素為（7.3.39）是(m+1)(m+1)維的矩陣，除了一個元素(m+1)(m+1)=1外，其余全為0。矩陣M由下式給出（7.3.40）其K是nn矩陣，第jk的元素為（7.3.41）I是nn單位陣。矩陣A()由下式顯式表達：（7.3.42）證明 我們先證明函數(shù)gn,屬于函數(shù)空間。首先定義內(nèi)積（7.3.43）則可以證明 （7.3.44）是的賦予上述內(nèi)積的再生核，對一切t, Q (t，)，對

46、f，t0,1,Q(t,)，f= f (t)。 Wahba (1970)證明了，gn,必定屬于函數(shù)空間kQ：（7.3.45）這里。然而可以看到是由與生成的，故（7.3.46）因此必有gn,kk 。于是存在某個r與j，使 (7.3.35)成立。將 (7.3.35)代入到 (7.3.34)中，再使用 (7.3.33)的求導公式得：（7.3.47）向量和應被選擇使上式極小化。對上式右邊求導并令導數(shù)為0，就可完成定理的證明。證畢三、廣義交叉核實普通的交叉核實函數(shù)是（7.3.48）其中是下式的f的極小化解（7.3.49）就是每次作函數(shù)極小化時空出一個點Yk不參加回歸，然后用回歸函數(shù)在這一點的擬合值去與實際

47、觀察作比較求出差值的平方。當這樣的k取遍1到n時，就有誤差平方和V0()，它是的函數(shù)。改變可以計算出不同的V0()，取使V0()較小或最小的參數(shù)為的選擇。如果我們在極小化 (7.3.4)過程中，用取代Yk，即在 (7.3.4) 中用Y1，Yk-1，Yk+1，Yn去代入使極小化，就可以得到。用引理形式說就是 引理7.3.3 設nm, 令gn,(tj，k, Zk)為下式的f的極小化函數(shù)解（7.3.50）則（7.3.51）證明 令，f為屬于但不同于h的函數(shù)，我們有 (7.3.52）比較左邊與最右邊的表達式，我們看到h是以Zk代換Yk后的極小化問題的解。證畢引理7.3.4 在上述記號下，有（7.3.5

48、3）證明 令，由于對每-t, gn,(t)是Yk的線性函數(shù)(見定理7.3.2)，再由上一引理，我們有（7.3.54）由此可以立即解出引理所證之式。證畢記A()的元素為ajk，j, k=1,n，則（7.3.55）因此 （7.3.56）于是由引理7.3.4，普通交叉核實函數(shù)可以寫為（7.3.57）為了引進廣義交叉核實函數(shù)V ()，考慮平滑問題中周期函數(shù)的情況，就是要找到g，g是積分為0的周期函數(shù)，且是下式的極小化解： （7.3.58）函數(shù)g是積分為0的周期函數(shù)意味著（7.3.59）可以證明，引理7.3.3證明中設定的hn,可以表為（7.3.60）其中 （7.3.61）這里KM-1就起著矩陣A的作用

49、。如果，則KM-1對每一都是循環(huán)的，并且（7.3.62）于是 (7.3.57)之V0()可表為（7.3.63）這個表達式由Wahba與Wold (1975)獲得，廣義交叉核實正是采取了后面的形式。因為A是對稱的，可對A作分解：（7.3.64）這里D2是對角陣，U是正交陣。令（7.3.65）這里矩陣Wnn的元素 （7.3.66）并且可以證明， （7.3.67）其中W*是W的共軛矩陣，而nn的對角陣D的對角元素為 （7.3.68）這里（7.3.69）（7.3.70）于是可以證明 （7.3.71）是循環(huán)矩陣。再令（7.3.72）則（7.3.73）如果將普通交叉核實作用于這里的資料，結果就是廣義交叉核

50、實函數(shù)V ()。注意 (7.3.69)揭示了周期函數(shù)與等距間隔下平滑樣條的低通濾波性質(zhì)。hn,的Fourie系數(shù)為（7.3.74）它與資料（7.3.75）的Fourier系數(shù)通過方程 （7.3.76）相聯(lián)系，這里 （7.3.77）當vn時，我們可以在 (7.3.69)中取=0項而得的近似式，于是 （7.3.78）這里函數(shù)稱作Butterworth濾波器，經(jīng)常使用于電氣工程中，其半功率，B*是B的共軛函數(shù)。將廣義交叉核實函數(shù)（7.3.79）與普通交叉核實函數(shù)（7.3.80）比較知道，V()是多了一個加權系數(shù)。它的作用在于，通過表達式（7.3.81）的獲得而知，作V()極小化時再不必知道誤差方差2

51、。回憶 (7.3.6)，回歸函數(shù)估計的誤差平方和是（7.3.82）如果想選擇來使R()達極小，遇到的困難是函數(shù)g是未知的。如果2已知的話，可以通過 (7.3.10)的極小化來選擇，從而極小化R(),可是如果2未知呢?那么就只有求助于廣義交叉核實函數(shù)V()了。為了顯示V()的作用，應該區(qū)分兩種情況。如果g()m-1，這里m-1是次數(shù)等于或低于m-1的多項式，我們可以證明ER()和EV()都是對應于=。這是一種情況。第二種情況是一般情形，我們可以證明如果選擇是使EV()極小，那么由下式定義的GCV方法的有效性：（7.3.83）在n時，可以趨于1。也就是說，從均方誤差意義上講，的選擇已經(jīng)很好了。 當

52、然，如果gm-1，則I*=1，因為ER()和EV()的極小化參數(shù)相同。如果在一般場合，gm-1但，這就要分別求出EV()的極小化參數(shù)與ER()的極小化參數(shù)*，并且滿足。我們可以分幾步證明I*單調(diào)遞減趨于0。讓我們首先考慮g ()m-1的情況。令（7.3.84）（7.3.85）（7.3.86）（7.3.87）則（7.3.88）由于g () = (g(t1), g (t2),g (tn)是矩陣的前m列的線性組合，故對一切有(I-A()g=0，b()=0，于是對ER()的極小化減弱到對trA2()的極小化，這就是對應于=的極小化。類似地，EV()變?yōu)椋?.3.89）現(xiàn)在情況下I-A ()有m個零特征

53、值，余下的n-m個特征值可被表為n(n+vn)-1，v=1,2,，n-m, 這里1n，2n，n-m, n是n-m個正數(shù)，不完全相同，這樣上式EV()就成為（7.3.90）此時當且僅當=時，EV()達到極小。 讓我們再來考慮一般情況。我們有定理7.3.3 在上述記號下（7.3.91）且 （7.3.92）其中 （7.3.93）這個定理的證明主要依賴于下式（7.3.94）證明細節(jié)這里略去。從上面這個定理可以推出下面的定理： 定理7.3.4 設*是ER()的極小化參數(shù)，則EV()的極小化參數(shù)可使如下定義的（7.3.95）滿足 （7.3.96）證明 令（7.3.97）因為 （7.3.98）并且ER，EV

54、以及h是的連續(xù)函數(shù)，是非空閉集。如果0不是的邊界點，則EV()有極小值點在的內(nèi)部(或在點)，我們稱之為。由定理7.3.3，（7.3.99）如果包含0，則可能在的邊界上，即=0，但是上述不等式依然成立。我們現(xiàn)在需要證明，當n時，h (*)0，h ()0。這可以通過以下幾個引理完成。證畢引理7.3.5 如果，則 （7.3.100）引理7.3.6 若滿足 （7.3.101）這里(u)是連續(xù)正值權函數(shù)，則對于gm-1 (不恒等于0的)及非零，當n時，必有b2()不等于0。引理7.3.7 設滿足上一引理之假設，0(t)，則 （7.3.102） （7.3.103）這里 （7.3.104）且 （7.3.10

55、5）相反，如果n1/2m異于0，則1()與2()也都異于零，但從這個引理知道。 從上面三個引理知道，如果，則當0時，n1/2m，并且 （7.3.106）并且如果或異于0，則ER()并不趨于0。因此，為了極小化ER()，我們必須使*0，n(*)1/2m，以使h(*)0。現(xiàn)在可以驗證EV()2，進一步有EV ()單調(diào)遞減趨于2 (因為EV()-2ER (*) (1+h (*)0)。如果，則為了達到EV ()單調(diào)遞減趨于2，必須有0，n ()1/2m，這樣當n時，h ()0。 在上述定理與引理的基礎上，我們可以得到關于廣義交叉核實的主要結果。定理7.3.5 設，序列滿足，其中(u)是嚴格正值遞減數(shù)，

56、則存在序列（n），它使EV()極小化，且 （7.3.107） 算例7.3.3 樣條回歸與散亂資料插值設有主信號f (t)混雜了白噪聲(t)，即是非參數(shù)回歸模型y = f (t)+我們要獲得f (t)的估計，也就是從y的資料里濾掉噪音。 下面的計算程序采用三次樣條函數(shù)插值，五點平滑公式作平滑。計算過程中有提示，結果有圖像，演習幾次就知道樣條回歸的意義與存在的問題了。程序有配套的信號發(fā)生器。非參數(shù)回歸的三個算例都用C語言編成，以及時顯示圖像，因為非參數(shù)回歸的效果與控制更依賴于圖像了。-樣條回歸與散亂資料插值計算程序, 例 7.3.3 請作出工作選擇 : （1） 0 = 數(shù)據(jù)文件準備; 1 = 樣條

57、回歸與散亂資料插值. 請選擇要讀入的數(shù)據(jù)文件名: （0） 1=C21.D, 2=C22.D, 3=C23.D, 4=C24.D, 5=C25.D, 6=C11.D, 7=C12.D, 8=C13.D, 9=C14.D, 10=C15.D, 0=LI733.D, 11=自選本程序讀入文本文件, 如果是二進制文件, 請轉換之請輸入資料長度(觀測點數(shù), li733.d是500-550) N: （500）要屏幕顯示讀入的資料嗎 ? 0= 不顯示; 1= 顯示 （0）請輸入樣條回歸平滑參數(shù) PH (1PH=50): （5）平滑參數(shù) PH 越大, 平滑越厲害; 但可能出現(xiàn)過頭, 尤其在兩頭已經(jīng)作完初始樣條

58、平滑插值已經(jīng)作完第 1 次樣條平滑插值已經(jīng)作完第 2 次樣條平滑插值已經(jīng)作完第 3 次樣條平滑插值已經(jīng)作完第 4 次樣條平滑插值要屏幕顯示樣條平滑擬合數(shù)據(jù)嗎 ? 0= 不顯示; 1= 顯示 （1） x(i) y(i) 0.0000 1.9412 1.0000 4.1522 2.0000 6.4290 497.0000 -1.4977 498.0000 2.1833 499.0000 4.8845 t(i) z(i) 0.5000 6.9375 1.5000 8.9958 2.5000 10.3448 489.5000 -5.5044 490.5000 -4.4215491.5000 -8.20

59、43數(shù)據(jù)存入文件嗎？ 0=不存， 1=存 （0）計算結束。-下面顯示原始數(shù)據(jù)與樣條擬合結果的圖像。圖7.3.3.1第四節(jié) 非參數(shù)回歸模型的小波擬合 小波理論可以為非參數(shù)回歸提供迄今最新的強有力工具。這方面主要是應用它的逼近理論與信號分析理論。前面講過，非參數(shù)回歸是將混雜有信號g (t)與噪音(t)的資料Y(t)進行信噪分離。樣條回歸的思路是在“盡量通過每一點”與“盡量平滑”之間取得折衷。小波回歸的思路則是將數(shù)據(jù)Y(t)接不同頻道分解，然后重構信號時舍去噪音頻道，就可得到光滑的信號曲線。所以小波回歸既可以看作是信噪分離，也可以看作是一種濾波，如果主信號與噪音信號頻率相差較大，小波回歸比樣條回歸效

60、果要好得多，這從本章算例圖像比較即知。讀者可以先不看數(shù)學推導，而先看本節(jié)算例里的幾幅圖像，就明白了小波擬合的原理。 不過作為一本書，我們還是先從小波理論起源，與信噪分離有關的小波分析理論準備講起，搭起一個簡明的數(shù)學框架，然后編程計算。 一、與信噪分離有關的小波理論準備 我們先從信號函數(shù)f (t)的Fourier變換與反變換存在的問題談起。Fourier分析的本質(zhì)在于將一個相當任意的函數(shù)f (t)表示為一族標準函數(shù)的加權求和：（7.4.1）其中權函數(shù) （7.4.2）這兩個式子就是經(jīng)典的付氏變換與反變換，是一種純頻域分析。它的固有缺點是在時域沒有任何分辨，變換在任何有限頻段上的信息都不足以確定在任