第5章概率密度函數(shù)估計(jì)5.1參數(shù)估計(jì)的基本概念5.2概率密度函數(shù)的參數(shù)估計(jì)5.3概率密度函數(shù)的非參數(shù)估計(jì)

第4章介紹了幾種經(jīng)典的統(tǒng)計(jì)分類決策規(guī)則，其中均假設(shè)已知先驗(yàn)概率P(ωi)與類條件概率密度p(x|ωi)。但是在很多情況中，能夠利用的只有有限個樣本，而p(x|ωi)和P(ωi)是未知的，需要根據(jù)已有樣本進(jìn)行參數(shù)估計(jì)，然后將估計(jì)值當(dāng)作真實(shí)值來使用。

因此，在統(tǒng)計(jì)分類決策中，把分類器設(shè)計(jì)過程分為兩步：

①利用統(tǒng)計(jì)推斷中的估計(jì)理論，根據(jù)樣本集估計(jì)p(x|ωi)和P(ωi)，分別記為和；

②再將估計(jì)量和代入貝葉斯分類決策規(guī)則中，完成分類器設(shè)計(jì)。這樣的分類器設(shè)計(jì)過程稱為基于樣本的兩步貝葉斯分類決策。當(dāng)然，基于樣本的兩步貝葉斯分類器性能與理論上的貝葉斯分類器不同。人們希望當(dāng)樣本數(shù)目N→∞時，基于樣本的分類器能收斂于理論上的結(jié)果。事實(shí)上，利用統(tǒng)計(jì)學(xué)中估計(jì)量的性質(zhì)，只要能夠說明當(dāng)N→∞時，和分別收斂于p(x|ωi)和P(ωi)即可。

根據(jù)概率密度函數(shù)形式是否已知，概率密度函數(shù)估計(jì)分為參數(shù)估計(jì)和非參數(shù)估計(jì)。

(1)參數(shù)估計(jì)；在概率密度函數(shù)的形式為已知，但其中的某些參數(shù)是未知的情況下，利用樣本集對概率密度函數(shù)的某些參數(shù)進(jìn)行估計(jì)。例如，若p(x|ωi)是均值為mi，協(xié)方差矩陣為Ci的正態(tài)分布，那么，只需要估計(jì)mi和Ci。參數(shù)估計(jì)的方法很多，大致可以分為確定性參數(shù)估計(jì)方法與隨機(jī)參數(shù)估計(jì)方法。確定性參數(shù)估計(jì)方法把參數(shù)看做確定而未知的，典型方法為最大似然估計(jì)。隨機(jī)參數(shù)估計(jì)方法把未知參數(shù)當(dāng)作具有某種分布的隨機(jī)變量，典型方法為貝葉斯估計(jì)。

(2)非參數(shù)估計(jì)；在概率密度函數(shù)的形式未知的條件下，直接利用樣本來推斷概率密度函數(shù)。常用的非參數(shù)估計(jì)方法有Parzen窗法和kN-近鄰法。

本章主要討論概率密度函數(shù)的參數(shù)估計(jì)和非參數(shù)估計(jì)方法。

5.1參數(shù)估計(jì)的基本概念

參數(shù)估計(jì)是統(tǒng)計(jì)推斷的基本問題之一，在討論具體問題之前先介紹幾個參數(shù)估計(jì)中的基本概念。

(1)統(tǒng)計(jì)量：設(shè)觀測樣本為x1，x2，…，xN，統(tǒng)計(jì)量f(x1，x2，…，xN)是x1，x2，…，xN的(可測)函數(shù)，與任何未知參數(shù)無關(guān)。統(tǒng)計(jì)量的概率分布稱為抽樣分布。

(2)參數(shù)空間：未知參數(shù)θ的全部可容許值組成的集合稱為參數(shù)空間，記為Θ。

(3)點(diǎn)估計(jì)、估計(jì)量和估計(jì)值：點(diǎn)估計(jì)是確定待定參數(shù)的單個估計(jì)值，即要構(gòu)造一個統(tǒng)計(jì)量作為參數(shù)θ的估計(jì)。在統(tǒng)計(jì)學(xué)中，稱為θ的估計(jì)量。把樣本的觀測值代入統(tǒng)計(jì)量f，得到一個具體數(shù)值，這個數(shù)值在統(tǒng)計(jì)學(xué)中稱為θ的估計(jì)值。

(4)區(qū)間估計(jì)：利用抽樣分布估計(jì)參數(shù)可能位于的區(qū)間，即要求用區(qū)間［d1，d2］作為θ可能取值范圍的一種估計(jì)。這個區(qū)間稱為置信區(qū)間，這類估計(jì)稱為區(qū)間估計(jì)。本章要求估計(jì)概率密度函數(shù)的某些參數(shù)，屬于點(diǎn)估計(jì)問題。評價一個估計(jì)的“好壞”，不能僅僅以一次抽樣結(jié)果得到的估計(jì)值與參數(shù)真值之間的偏差大小來確定，而必須從平均的和方差的角度出發(fā)進(jìn)行分析。為了表示這種偏差，統(tǒng)計(jì)學(xué)中做了很多關(guān)于估計(jì)量性質(zhì)的定義。我們在介紹常用的參數(shù)估計(jì)方法的同時,將進(jìn)一步研究估計(jì)量的性質(zhì)。

5.2概率密度函數(shù)的參數(shù)估計(jì)

5.2.1最大似然估計(jì)

設(shè)ωi類的概率密度函數(shù)具有某種確定的函數(shù)形式，θ

是該函數(shù)的一個未知參數(shù)或參數(shù)集。最大似然估計(jì)是把θ當(dāng)作確定的(非隨機(jī))未知量進(jìn)行估計(jì)。

若從ωi類中獨(dú)立地抽取N個樣本模式，即

X(N)={x1，x2，…，xN}

則這N個樣本的聯(lián)合概率密度函數(shù)p(X(N)|θ)稱為θ

的似然函數(shù)，記為L(θ)。因?yàn)镹個樣本是獨(dú)立抽取的，所以

我們作最大似然估計(jì)的目的是想知道所抽取的樣本最可能來自哪個密度函數(shù)。換句話說，我們所抽取出的這組樣本來自哪個密度函數(shù)(θ取什么值)的可能性最大，即我們要在參數(shù)空間Θ中找到一個θ值(用表示)，它能使似然函數(shù)

極大化。這里是θ的最大似然估計(jì)量，也就是使似然函數(shù)達(dá)到最大的估計(jì)量。所以，θ的最大似然估計(jì)量是下面微分方程的解；(5-1)(5-2)為了便于分析，使用似然函數(shù)的對數(shù)比使用似然函數(shù)本身更容易些。因?yàn)閷?shù)函數(shù)是單調(diào)增加的，因此使對數(shù)似然函數(shù)最大的也必然使似然函數(shù)最大。定義似然函數(shù)的對數(shù)為

H(θ)=lnL(θ)

(5-3)這時θ的最大似然函數(shù)估計(jì)量是

的解。

圖5.1給出了關(guān)于參數(shù)θ的最大似然估計(jì)。(5-4)圖5.1最大似然估計(jì)示意圖如果ωi類的概率密度函數(shù)有s個未知參數(shù)θ1，θ2，…，θs，此時θ是一個s維向量，記為

θ=［θ1，θ2，…，θs］T

對數(shù)似然函數(shù)為

H(θ)=ln［L(θ)］=lnp(x1，x2，…，xN|θ1，θ2，…，θs)(5-5)

在N個樣本獨(dú)立抽取的條件下，式(5-5)可寫為

因此，式(5-4)可寫為(5-6)

式(5-7)又可表示成下面s個微分方程，即(5-7)(5-8)事實(shí)上，式(5-8)中s個聯(lián)立方程只是最大似然估計(jì)的必要條件。若式(5-8)的解能使似然函數(shù)值最大，則就是θ的最大似然估計(jì)。有時式(5-8)可能會沒有唯一解。例如在圖5.1中就有5個解，雖然θa，θb，θd，θe都是解，但它們并不使似然函數(shù)最大，只有才使似然函數(shù)最大。

有些情況下，用式(5-8)求極大值不一定行得通。例如，若隨機(jī)變量x服從均勻分布，但參數(shù)θ1，θ2未知，則(5-9)設(shè)從總體中獨(dú)立抽取出N個樣本x1，x2，…，xN,則其似然函數(shù)為

對數(shù)似然函數(shù)為

H(θ)=－Nln(θ2－θ1)

(5-11)

由式(5-8)有：(5-10)(5-12)從式(5-12)方程組中解出的參數(shù)θ1和θ2至少有一個為無窮大，這是無意義的結(jié)果。造成這種問題的原因是似然函數(shù)在最大值的地方?jīng)]有零斜率，所以我們必須用其他方法來找最大值。從式(5-12)可以看出，θ2－θ1越小,則似然函數(shù)越大。而在給定一個有N個觀察值x1，x2，…，xN的樣本集中，如果我們用x′表示觀察值中最小的一個，用x″表示觀察值中

最大的一個，顯然θ1不能大于x′，θ2不能小于x″。因此,θ2－θ1的最小可能值是x″－x′，這時θ的最大似然估計(jì)量顯然是(5-13)例5.1設(shè)一維樣本x1，x2，…，xN都是由獨(dú)立的抽樣試驗(yàn)采集的，且概率密度函數(shù)均服從正態(tài)分布，其均值μ與方差σ2未知，求均值和方差的最大似然估計(jì)。

解設(shè)θ1=μ，θ2=σ2，θ=［θ1，θ2］T

，xk的概率密度函數(shù)為

樣本的似然函數(shù)為對數(shù)似然函數(shù)為

對H(θ)關(guān)于θ1和θ2求導(dǎo)有：由聯(lián)立方程可得均值μ與方差σ2的最大似然估計(jì)為：

上述結(jié)果可以類似地推廣到多元正態(tài)分布。設(shè)d維樣本x1，x2，…，xN服從d元正態(tài)分布，其均值向量m與協(xié)方差矩陣C未知。xk的密度函數(shù)為通過類似的推導(dǎo)，均值向量m與協(xié)方差矩陣C的最大似然估計(jì)為；5.2.2Bayes估計(jì)和Bayes學(xué)習(xí)

1.Bayes估計(jì)(BayesEstimate)

在第4章的統(tǒng)計(jì)決策討論中，定義了損失函數(shù)和平均損失，并依據(jù)最小平均損失準(zhǔn)則建立了判決規(guī)則。類似地，在參數(shù)估計(jì)中，也可以引進(jìn)平均損失概念?？紤]平均損失問題，這里損失函數(shù)是用估計(jì)值作為真實(shí)值θ的代價。令為代替θ所造成的損失，對于一個獨(dú)立抽取于ωi類的一組樣本X(N)={x1，x2，…，xN}，當(dāng)用作為θ的估計(jì)時，在樣本X(N)條件下的期望損失為(5-14)其中，Θ為參數(shù)空間?？紤]到X(N)的各種取值，則

在ΩN空間中的期望為

Bayes估計(jì)的思想是，所求得的θ的估計(jì)值應(yīng)使估計(jì)損失的期望最小，這種使R或等價地使取最小值的θ的估計(jì)值稱為θ的Bayes估計(jì)量。對于的不同具體定義，可得到不同的Bayes估計(jì)量。在這里，我們規(guī)定損失函數(shù)是一個二次函數(shù)，即平方誤差損失函數(shù)(5-15)

(5-16)

下面給出針對這種損失函數(shù)求θ的Bayes估計(jì)量的定理。

定理5.1如果損失函數(shù)為二次函數(shù)，即

則θ的Bayes估計(jì)量是給定X(N)時θ的條件期望，即

證明由于貝葉斯估計(jì)使貝葉斯損失R達(dá)到最小，要使貝葉斯損失(5-17)達(dá)到最小，相當(dāng)于被積函數(shù)(條件損失)

達(dá)到最小。而(5-18)(5-19)式(5-19)中的交叉項(xiàng)(5-20)所以條件損失可寫為(5-21)由式(5-21)可見，條件損失由兩項(xiàng)組成；第一項(xiàng)為非負(fù)的，與無關(guān)；第二項(xiàng)也是非負(fù)的，且與有關(guān)。要使條件損失最小，可選擇，這樣第二項(xiàng)就為零，從而使條件損失最小。所以Bayes估計(jì)量為

利用這個定理，可以較方便地對平方誤差損失函數(shù)情況求解貝葉斯估計(jì)量，步驟如下：

(1)確定θ的先驗(yàn)分布p(θ)；

(2)由樣本集X(N)={x1，x2，…，xN}求出樣本聯(lián)合分布p(X(N)|θ)，它是θ的函數(shù)；

(3)利用貝葉斯公式求出θ的后驗(yàn)分布

(4)利用定理5.1求出Bayes估計(jì)量

例5.2設(shè)一維樣本集X(N)={x1，x2，…，xN}是取自正態(tài)分布N(μ，σ2)的樣本集，其中均值μ為未知的參數(shù)，方差σ2已知。未知參數(shù)μ是隨機(jī)參數(shù)，它有先驗(yàn)分布N(μ0，σ20)，μ0、σ20已知。求μ的貝葉斯估計(jì)量。

解對于二次損失函數(shù)的貝葉斯估計(jì)，由定理5.1有

由式(5-22)可知，要求，首先求μ的后驗(yàn)分布，由于其先驗(yàn)分布p(μ)已知，利用貝葉斯公式有(5-22)(5-23)其中

是一個比例因子，它僅與X(N)有關(guān)而與μ無關(guān)。由于

所以(5-24)(5-25)上式中和μ無關(guān)的因子全部包含在因子α′與α″中，這樣p(μ|X(N))是μ的二次函數(shù)的指數(shù)函數(shù)，所以仍是一個正態(tài)密度函數(shù)，可以把p(μ|X(N))寫成N(μN(yùn)，σ2N)，即(5-26)應(yīng)用待定系數(shù)法，令式(5-25)和式(5-26)兩式對應(yīng)的系數(shù)相等，即可求得μN(yùn)和σ2N；(5-27)其中(5-28)是樣本均值。解式(5-27)得：(5-29)(5-30)至此，我們已求得μ的后驗(yàn)概率密度p(μ|X(N))。這樣就可以用式(5-22)來求μ的貝葉斯估計(jì)量了,即

2.Bayes學(xué)習(xí)

Bayes學(xué)習(xí)與Bayes估計(jì)的前提條件是相同的，但Bayes學(xué)習(xí)不是進(jìn)行概率密度的參數(shù)估計(jì)。Bayes學(xué)習(xí)是指在求出未知參數(shù)θ的后驗(yàn)分布后，不再去求θ的估計(jì)量，而是直接求總體分布p(x|X(N))：

其中(5-31)

現(xiàn)在還需要討論p(x|X(N))是否收斂于p(x)的問題，其中p(x)是x的真實(shí)總體分布，它的參數(shù)為真實(shí)參數(shù)θ。用X(N表示由N個樣本組成的樣本集，即X(N)={x1，x2，…，xN}。

假設(shè)樣本之間相互獨(dú)立，當(dāng)N>1時，有

此外，后驗(yàn)概率與樣本個數(shù)的關(guān)系為(5-32)(5-33)隨著樣本數(shù)的增加，我們可以得到一個密度函數(shù)序p(θ)，p(θ|x1)，p(θ|x1，x2)，…，這個過程稱為遞推貝葉斯方法。如果該密度函數(shù)序列收斂于一個以真實(shí)參數(shù)為中心的δ函數(shù)，則p(x|X(N))收斂到p(x)，即

稱這一性質(zhì)為貝葉斯學(xué)習(xí)。在例5.2中得到后驗(yàn)概率密度p(μ|X(N))，μN(yùn)反映了在觀察到一組樣本集后對μ的推斷，而σ2N則反映了對這一推斷的不確定性。由于σ2N隨著N的增加而單調(diào)減少，說明每增加一個觀察樣本都可以減少對μ推測的不確定性。當(dāng)N增加時，p(μ|X(N))的峰會變得越來越突起，當(dāng)N→∞時它趨近于δ函數(shù)，如圖5.2所示。因此，正態(tài)分布具有貝葉斯學(xué)習(xí)的性質(zhì)。圖5.2貝葉斯學(xué)習(xí)示意圖在例5.2中得到后驗(yàn)概率密度p(μ|X(N))以后，由下式可以求出樣本x的概率密度函數(shù)，即即p(x|X(N))是正態(tài)密度函數(shù)，均值為μN(yùn)，方差為，即

(5-35)

由式(5-35)可知，貝葉斯學(xué)習(xí)和貝葉斯估計(jì)得到的總體均值是相同的，都是μN(yùn)；貝葉斯學(xué)習(xí)得到的總體概率密度函數(shù)的形式與已知形式相同，只是用μN(yùn)代替μ，用

代替σ2。由于用μN(yùn)代替真實(shí)值μ帶來了不確定性的增加，從而方差σ2增加為。

3.最大似然估計(jì)、Bayes估計(jì)、Bayes學(xué)習(xí)之間的關(guān)系

最大似然估計(jì)是把參數(shù)θ看成確定的未知參數(shù)。似然函數(shù)定義為

最大似然函數(shù)估計(jì)就是求使似然函數(shù)L(θ)為最大的作為最大似然估計(jì)量。

Bayes估計(jì)是把參數(shù)θ看成隨機(jī)的未知參數(shù)，一般θ具有先驗(yàn)分布p(θ)。樣本通過似然函數(shù)p(X(N)|θ)并利用貝葉斯公式將p(θ)轉(zhuǎn)化為后驗(yàn)分布

p(θ|X(N))包含了關(guān)于θ的先驗(yàn)信息及樣本提供的后驗(yàn)信息。再利用定理5.1

求出貝葉斯估計(jì)量，它使平方誤差損失函數(shù)的貝葉斯損失極小化。

貝葉斯估計(jì)學(xué)習(xí)是利用θ的先驗(yàn)分布及樣本提供的信息求出θ的后驗(yàn)分布p(θ|X(N))，然后直接求總體分布

5.3概率密度函數(shù)的非參數(shù)估計(jì)

上面討論的參數(shù)估計(jì)方法要求已知總體分布的形式。然而很多實(shí)際問題并不知道總體分布形式，或總體分布不是一些通常遇到的典型分布，不能寫成某些參數(shù)的函數(shù)。在這些情況下，為了設(shè)計(jì)貝葉斯分類器，仍然需要總體分布的知識，于是提出了一些直接用樣本來估計(jì)總體分布的方法，我們稱之為總體分布的非參數(shù)估計(jì)。5.3.1非參數(shù)估計(jì)的基本原理

設(shè)樣本x的概率密度函數(shù)為p(x)，則x屬于區(qū)域Ω的概率P為

上式表明，概率P是密度函數(shù)p(x)的一種平均形式，對P的

估計(jì)就是估計(jì)p(x)的平均值。

假設(shè)x1，x2，…，xN是N個獨(dú)立抽取的樣本，其概率密度函數(shù)為p(x)。N個樣本中有k個屬于Ω區(qū)域的概率為(5-36)(5-37)其中，。k為一個隨機(jī)變量，k的數(shù)學(xué)期望為

k的分布在其均值附近有一個陡峭的峰，可以認(rèn)為

是P的一個很好的估計(jì)，也是概率密度函數(shù)平均值的一個好的估計(jì)。

進(jìn)一步假設(shè)p(x)是連續(xù)的，并且Ω的范圍很小，以至于p(x)在Ω上幾乎是不變的，那么，(5-38)(5-39)其中，x是Ω中的一個點(diǎn)，V是Ω的“體積”。綜合上述分析，p(x)的估計(jì)為

在式(5-40)中，如果給定Ω，即體積V固定，樣本數(shù)N→∞

，則，此時，

即式(5-40)得到的是概率密度函數(shù)p(x)的空間平均估計(jì)值。(5-40)(5-41)要想得到概率密度函數(shù)p(x)，而不是p(x)的空間平均估計(jì)值，需要讓Ω的體積V趨近于0。若把樣本數(shù)N固定，令V趨于0，以至于Ω不包含任何樣本，此時，p(x)≈0，這種估計(jì)是沒有意義的；或者恰有一個或幾個樣本同x重合，此時，p(x)為無窮大，同樣也沒有意義。

事實(shí)上，樣本數(shù)目總是有限的，從而要求體積不能任意小。因此，所得到的密度函數(shù)估計(jì)結(jié)果還是一定范圍內(nèi)的平均值。

為了估計(jì)x點(diǎn)處的密度，構(gòu)造一個包含x的區(qū)域序列Ω1，Ω2，…。假設(shè)t時刻的樣本數(shù)為N，ΩN的體積為VN，ΩN中的樣本數(shù)為kN，則p(x)的估計(jì)pN(x)為

如果滿足三個條件：(5-42)(5-43)(5-44)(5-45)那么，pN(x)收斂于p(x)。上述三個條件表明：當(dāng)N增大時，ΩN中的樣本數(shù)也增加；VN不斷減少，以使pN(x)趨于p(x)；盡管在區(qū)域ΩN中落入了大量的樣本，但與樣本總數(shù)相比，還是可以忽略的。

滿足上述三個條件的區(qū)域序列主要有兩種選擇方法：

(1)Parzen窗法。選定一個中心在x處的區(qū)域ΩN，其體積為VN(例如，，然后計(jì)算落入其中的樣本數(shù)kN，用來估計(jì)局部密度pN(x)的值。

(2)kN-近鄰法。選定一個kN值(例如，，以x為中心構(gòu)造一個區(qū)域ΩN,其體積為VN，使ΩN恰好包含kN個樣本，用這時的體積VN來估計(jì)pN(x)。5.3.2Parzen窗法

假設(shè)x為d維空間中的一個點(diǎn)，超立方體ΩN以原點(diǎn)為中心、邊長為hN，其體積VN為

對于d維空間中的任意一個樣本xi，若向量x－xi中的每一個分量的絕對值都小于hN/2，則xi屬于區(qū)域ΩN，否則就不屬于ΩN。

為了計(jì)算ΩN包含的樣本數(shù)kN，構(gòu)造一個d維空間的窗函數(shù)；(5-46)(5-47)其中，u=(u1,u2,…,ud)。(u)稱為Parzen窗函數(shù)。從而樣本數(shù)kN可表示為(5-48)

將式(5-48)代入式(5-42)，可得估計(jì)：(5-49)式(5-49)是Parzen窗法估計(jì)的基本表達(dá)式。為了使pN(x)成為一個概率密度函數(shù)，即pN(x)非負(fù)且積分為1，要求窗函數(shù)滿足下面兩個條件：(5-50)(5-51)上述兩式表明，窗函數(shù)本身滿足密度函數(shù)的要求。事實(shí)上，由式(5-49)可知，f(u)的非負(fù)性能夠保證pN(x)的非負(fù)性，進(jìn)一步有從而證明了pN(x)是一個概率密度函數(shù)。因此，只要一個函數(shù)滿足條件式(5-50)和式(5-51)，它就能夠作為窗函數(shù)。除了上面選擇的超立方體窗函數(shù)以外，還有更一般的形式。以一維窗函數(shù)為例，主要有下面三個窗函數(shù)。

(1)方窗函數(shù)(如圖5.3(a)所示)：

(2)正態(tài)窗函數(shù)(如圖5-3(b)所示)：

(3)指數(shù)窗函數(shù)(如圖5-3(c)所示)：圖5.3三種窗函數(shù)下面分析窗的寬度hN對pN(x)的影響。令

則pN(x)可以寫成如下形式的平均值：

由VN=hdN可知，hN既影響qN(x)的幅度又影響它的寬度

如果hN選得很大，則qN(x)的幅度就很小。此時，qN(x)寬度很大，只有當(dāng)xi離x較遠(yuǎn)時，才能使qN(x-xi)與qN(0)相差較大。因此，pN(x)就變成N個寬度較大的慢變函數(shù)的平均值，從而降低了估計(jì)分辨率。(5-53)(5-54)反過來，如果hN選得很小，則qN(x-xi)的峰值就很大，且出現(xiàn)在x=xi附近。此時，pN(x)就是N個以樣本為中心的尖脈沖的平均值，從而使估計(jì)不穩(wěn)定。

綜上所述，hN的選取對pN(x)的影響很大，如果hN太大，則估計(jì)的分辨率太低，反之則估計(jì)的統(tǒng)計(jì)變動太大。因此，當(dāng)樣本數(shù)目有限時，需要作適當(dāng)?shù)恼壑裕划?dāng)樣本數(shù)目無限時，可讓VN隨N的增大而緩慢地趨于零，從而使pN(x)收斂于p(x)。例5.3設(shè)p(x)是均值為零、方差為1的一維正態(tài)分布密度，選擇窗函數(shù)為正態(tài)窗函數(shù)：取其中，h1是可調(diào)節(jié)的參量，以考察h1估計(jì)的影響。p(x)的估計(jì)pN(x)為當(dāng)?shù)玫揭唤M正態(tài)分布隨機(jī)樣本后，就可以計(jì)算出pN(x)，如圖5.4所示，這些結(jié)果依賴于N和h1。

當(dāng)N=1時，pN(x)是一個以第一個樣本為中心的正態(tài)形狀的單峰。當(dāng)N=16時，若h1=0.25，則單個樣本的作用還是可見的；但對于h1=1與h1=4，單個樣本的作用就變得模糊了。在樣本數(shù)沒有達(dá)到無窮多，抽樣存在不規(guī)則的情況下，pN(x)會出現(xiàn)一些不規(guī)則的擾動。當(dāng)N趨向無窮時，pN(x)收