1、 N參數(shù)估計(jì)理論的主要研究?jī)?nèi)容：（1）估計(jì)子是如何接近真實(shí)參數(shù) 的?(接近度評(píng)價(jià))（2）參數(shù)估計(jì)方法n估計(jì)子的定義11,()(,)NpNNxxNppNN 映射已知 個(gè)數(shù)據(jù)估計(jì)真實(shí)參數(shù)即 維樣本空間維參數(shù)空間（ 維）小樣本性能 個(gè)數(shù)據(jù)得到的估計(jì)子性能 ：計(jì)算機(jī)仿真大樣本性能 漸近性能：理論分析*11*21( )( ) ()( ):1 ( )()( )1 ( )()( ) () ( () : xN knN knNNNNx nR kE x nk x nR kx nk x nNkR kx nk x nNbEE的自相關(guān)函數(shù)兩個(gè)估計(jì)子 具有相關(guān)函數(shù)矩陣的 半正定性估計(jì)誤差 隨機(jī)變量，不便使用） 偏差 （固

2、定量，有用） 無(wú)偏估計(jì)0 NE 12N ( )( ) ( )( ) (): lim xxNE R kR xNkE R kR xNE兩個(gè)估計(jì)子的性能：無(wú)偏估計(jì)有偏估計(jì) 漸近無(wú)偏估計(jì)漸近無(wú)偏估計(jì)無(wú)偏估計(jì)一定是漸近無(wú)偏估計(jì)，反之一般不成立“好”的估計(jì)：應(yīng)該是漸近無(wú)偏估計(jì)n兩個(gè)無(wú)偏估計(jì)(或其中一個(gè)漸進(jìn)無(wú)偏估計(jì))的性能比較：22222221212:()() : () ()() () () 2 () ()()()()(), NNNNNNNNNNNNNNNNVarEEMEEEEEEEEEEEVarbVarVar估計(jì)方差 均方誤差無(wú)偏估計(jì)的評(píng)價(jià)：若則稱(chēng)比好有偏221212()(), :MM估計(jì)的評(píng)價(jià)：若則稱(chēng)優(yōu)

3、于注 比較估計(jì)子性能時(shí)，用均方誤差比只用方差或偏差更合理111,( | )( )ln( | )( | )( | ) ( )( | )( | ) ( )0,( | )NNNxxf xV xf xf xf xE V xf xdxdxf xE V xf xdxdx中隱含真實(shí)參數(shù) 的信息估計(jì)子引入品質(zhì)函數(shù)22222( )( )( )ln( |)ln( |)1( )() ( )ln( |)( )()1 ( )V xFisherJE VEf xEf xVarEJf xKCramerRaoJ 定義：品質(zhì)函數(shù)的方差稱(chēng)為信息：定理：假設(shè)是 的無(wú)偏估計(jì)，則 取等號(hào)的充要條件：此時(shí)稱(chēng)為下界n損失函數(shù)(代價(jià)函數(shù))n絕

4、對(duì)損失函數(shù)n二次型損失函數(shù)(, ) ()() ()NNNNCC ,標(biāo)量參數(shù)向量參數(shù)22( , ) ()() ()CC ,標(biāo)量參數(shù)向量參數(shù)n均勻損失函數(shù)0, (, ) ()1, 0, () ()1, NNNNNNCC ,標(biāo)量參數(shù)向量參數(shù)n風(fēng)險(xiǎn)函數(shù): 損失函數(shù)的數(shù)學(xué)期望nBayes估計(jì)：使風(fēng)險(xiǎn)函數(shù)最小化的參數(shù)估計(jì)(, ) (, )NNRE C2, (, )() min MMSE(minimum mean square error)NNRE若對(duì)二次型111,( ,| ),ln( ,| ) argmaxln( ,| )NNNMLNxxf xxf xxf xx1給定 ,似然函數(shù)為但多用對(duì)數(shù)似然函數(shù)。的最

5、大似然估計(jì)是對(duì)數(shù)似然函數(shù)最大化時(shí)的估計(jì):缺點(diǎn)：必須知道似然函數(shù)的形式n線性均方LMS (linear mean square)11221221111, minmin 20 NNLMSnnnNnnnNNnnnnknnkkNNiikkiikkiixxw xEw xE eE eEw xEw xxwwwE x xExwRg 準(zhǔn)則：11221221111, minmin 20 NNLMSnnnNnnnNNnnnnknnkkNNiikkiikkiiN Niki kxxw xEw xE eE eEw xEw xxwwwE x xExwRgRR 準(zhǔn)則： 111 , , TTNNwwggwgRw = gw =

6、R gn正交性原理n線性均方估計(jì)是典型的Bayes估計(jì)10 0 1,NnnkknEw xxE exkN即估計(jì)誤差與已知數(shù)據(jù)正交2121 min LMSMMSEBayesNnnnNnnnx wEx w代價(jià)函數(shù)（二次型損失函數(shù)）風(fēng)險(xiǎn)函數(shù)估計(jì)估計(jì)（估計(jì)）n問(wèn)題(well-determined equation)(over-determined equation) () (under-determined e1Ax = bAbxAx = A bA矩陣方程，在 和 已知情況下估計(jì) 適定方程： 方陣可逆，則 超定方程：非方陣且行數(shù) 列數(shù) 方程個(gè)數(shù)多于未知參數(shù)個(gè)數(shù) ，無(wú)準(zhǔn)確解，但有惟一的最小二乘解。在信號(hào)處

7、理中多用超定方程。超定意味著使用更多的信息。 欠定方程quation) ： 有無(wú)窮多個(gè)解，但有惟一的最小范數(shù)解。欠定意味著信息不夠多。n超定方程Ax = b*1() ()min() ()0(0 (,)1() (identHHHHHHHHHHHHHHHHLSAbAxbxbAxbAxbAxbxx A Axb bx A bb AxA AxA bxxxA AxA bIOxxA AxA AA bx沒(méi)有誤差， 有誤差，誤差向量為誤差平方和為標(biāo)量共軛梯度）注意情況 ：可逆，稱(chēng) 是唯一可辨識(shí)的，可辨識(shí)性ificability)2HA Ax情況 ：奇異，稱(chēng) 是不可辨識(shí)的nGaussian-Markov定理n加權(quán)最小二乘估計(jì)eAxb若誤差向量的每個(gè)元素都具有零均值和相同的方差，則最小二乘估計(jì)一定是最優(yōu)估計(jì)（方差最?。?11minmin ( )()()( )0 0 ()var( ) HHHHHHHHHHHHHHHHHoptQQEe ee weebAW bAb Wb A WAb WA A WbA WAA WbA WAA WbWA WAA WAA WbVee eWV最小二乘加權(quán)最小二乘若 各元素方差不同,則用加權(quán)最小二乘法)總可以選擇，使可逆，則可以證明最佳的n評(píng)價(jià)參數(shù)估計(jì)好壞的問(wèn)題：n采用均方誤差來(lái)衡量參數(shù)估計(jì)的優(yōu)劣n判別無(wú)偏估計(jì)能否最好：運(yùn)用Fisher信息，滿(mǎn)足Cramer-Ra