3.5

曲線擬合的最小二乘法

3.5.1

最小二乘法及其計算

在函數(shù)的最佳平方逼近中如果只在一組離散點集上給定，這就是科學(xué)實驗中經(jīng)常見到的實驗數(shù)據(jù)的曲線擬合.1第3章5-7節(jié)3.5曲線擬合的最小二乘法

記誤差則的各分量分別為個數(shù)據(jù)點上的誤差.

問題為利用求出一個函數(shù)與所給數(shù)據(jù)擬合.2第3章5-7節(jié)3.5曲線擬合的最小二乘法

設(shè)是上線性無關(guān)函數(shù)族，在中找一函數(shù)，使誤差平方和（5.1）這里（5.2）3第3章5-7節(jié)3.5曲線擬合的最小二乘法

這個問題稱為最小二乘逼近，幾何上稱為曲線擬合的最小二乘法.

用最小二乘求擬合曲線時,首先要確定的形式.

確定的形式問題不僅是數(shù)學(xué)問題,還與問題的實際背景有關(guān).

通常要用問題的運動規(guī)律及給定的數(shù)據(jù)進行數(shù)據(jù)描圖,確定的形式,然后通過實際計算選出較好的結(jié)果.4第3章5-7節(jié)3.5曲線擬合的最小二乘法

為了使問題的提法更有一般性，通常在最小二乘法中考慮加權(quán)平方和（5.2）（5.3）這里是上的權(quán)函數(shù)，它表示不同點處的數(shù)據(jù)比重不同.就是次多項式.

若是次多項式，

的一般表達式為（5.2）表示的線性形式.5第3章5-7節(jié)3.5曲線擬合的最小二乘法

這樣，最小二乘問題就轉(zhuǎn)化為求多元函數(shù)（5.4）的極小點問題.

用最小二乘法求擬合曲線的問題，就是在形如(5.2)的中求一函數(shù)，

由求多元函數(shù)極值的必要條件，有使（5.3）取得最小.（5.2）（5.3）6第3章5-7節(jié)3.5曲線擬合的最小二乘法若記（5.5）上式可改寫為（5.6）這個方程稱為法方程，可寫成矩陣形式7第3章5-7節(jié)3.5曲線擬合的最小二乘法其中（5.7）

要使法方程(5.6)有惟一解，就要求矩陣非奇異，而在上線性無關(guān)不能推出矩陣非奇異，必須加上另外的條件.（5.6）8第3章5-7節(jié)3.5曲線擬合的最小二乘法

顯然在任意個點上滿足哈爾條件.哈爾條件，則法方程(5.6)

的系數(shù)矩陣(5.7)

非奇異，

如果在上滿足函數(shù)的最小二乘解為

定義10設(shè)的任意線性組合在點集上至多只有個不同的零點，則稱在點集上滿足哈爾(Haar)條件.方程(5.6)存在惟一的解從而得到于是（5.6）9第3章5-7節(jié)3.5曲線擬合的最小二乘法這樣得到的，對任何形如(5.2)的，都有故確是所求最小二乘解.（5.2）10第3章5-7節(jié)3.5曲線擬合的最小二乘法一般可取，但這樣做當時，通常對的簡單情形都可通過求法方程（5.6）得到

給定的離散數(shù)據(jù)，

例如，，求解法方程（5.6）將出現(xiàn)系數(shù)矩陣為病態(tài)的問題，

有時根據(jù)給定數(shù)據(jù)圖形，其擬合函數(shù)表面上不是（5.2）的形式，但通過變換仍可化為線性模型.若兩邊取對數(shù)得（5.6）（5.2）11第3章5-7節(jié)3.5曲線擬合的最小二乘法

例7這樣就變成了形如（5.2）的線性模型.此時，若令則已知一組實驗數(shù)據(jù)如下，求它的擬合曲線.12第3章5-7節(jié)3.5曲線擬合的最小二乘法

解

從圖中看到各點在一條直線附近，故可選擇線性函數(shù)作擬合曲線，將所給數(shù)據(jù)在坐標紙上標出，見圖3-4.圖3-413第3章5-7節(jié)3.5曲線擬合的最小二乘法

令這里故14第3章5-7節(jié)3.5曲線擬合的最小二乘法解得由（5.6）得方程組于是所求擬合曲線為（5.6）15第3章5-7節(jié)3.5曲線擬合的最小二乘法

關(guān)于多項式擬合，Matlab中有現(xiàn)成的程序其中輸入?yún)?shù)為要擬合的數(shù)據(jù)，為擬合多項式的次數(shù)，輸出參數(shù)為擬合多項式的系數(shù).

利用下面的程序，可在Matlab中完成上例的多項式擬合.16第3章5-7節(jié)3.5曲線擬合的最小二乘法x=[11233345];f=[444.566688.5];aa=poly(x,f,1);y=polyval(aa,x);plot(x,f,’r+’,x,y,’k’)xlabel(‘x’);ylabel(‘y’);gtext(‘y=s1(x)’）17第3章5-7節(jié)3.5曲線擬合的最小二乘法結(jié)果如下：18第3章5-7節(jié)3.5曲線擬合的最小二乘法

例8設(shè)數(shù)據(jù)由表3-1給出，用最小二乘法確定及.

解表中第4行為通過描點可以看出數(shù)學(xué)模型為它不是線性形式.用給定數(shù)據(jù)描圖可確定擬合曲線方程為兩邊取對數(shù)得19第3章5-7節(jié)3.5曲線擬合的最小二乘法

若令先將轉(zhuǎn)化為為確定，

根據(jù)最小二乘法，取則得數(shù)據(jù)表見表3-1.得20第3章5-7節(jié)3.5曲線擬合的最小二乘法故有法方程解得

于是得最小二乘擬合曲線為21第3章5-7節(jié)3.5曲線擬合的最小二乘法

利用下面的程序，可在Matlab中完成曲線擬合.x=[1.001.251.501.752.00];y=[5.105.796.537.458.46];y1=log(y);aa=poly(x,y1,1);a=aa(1);b=exp(aa(2));y2=b*exp(a*x);plot(x,y,’r+’,x,y2,’k’)xlabel(‘x’);ylabel(‘y’);gtext(‘y=a*exp(bx))’;22第3章5-7節(jié)3.5曲線擬合的最小二乘法結(jié)果如下：23第3章5-7節(jié)3.5曲線擬合的最小二乘法

3.5.2

用正交多項式做最小二乘擬合

如果是關(guān)于點集（5.8）

用最小二乘法得到的法方程組（5.6），其系數(shù)矩陣是病態(tài)的.帶權(quán)正交的函數(shù)族，即（5.6）24第3章5-7節(jié)3.5曲線擬合的最小二乘法（5.9）則方程（5.6）的解為且平方誤差為（5.6）25第3章5-7節(jié)3.5曲線擬合的最小二乘法

接下來根據(jù)給定節(jié)點及權(quán)函數(shù)構(gòu)造帶權(quán)正交的多項式.

注意，用遞推公式表示，即（5.10）這里是首項系數(shù)為1的次多項式，根據(jù)的正交性，得26第3章5-7節(jié)3.5曲線擬合的最小二乘法（5.11）

下面用歸納法證明這樣給出的是正交的.27第3章5-7節(jié)3.5曲線擬合的最小二乘法

假定對及要證對均成立.由（5.10）有

由（5.10）第二式及（5.11）中的表達式，有均成立，（5.12）（5.10）（5.10）28第3章5-7節(jié)3.5曲線擬合的最小二乘法

而，于是由（5.12），當時，

另外，是首項系數(shù)為1的次多項式，它可由由歸納法假定，當時的線性組合表示.由歸納法假定又有（5.12）29第3章5-7節(jié)3.5曲線擬合的最小二乘法由假定有

再考慮（5.13）利用（5.11）中表達式及以上結(jié)果，得30第3章5-7節(jié)3.5曲線擬合的最小二乘法至此已證明了由（5.10）及（5.11）確定的多項式組成一個關(guān)于點集的正交系.

用正交多項式的線性組合作最小二乘曲線擬合，只要根據(jù)公式（5.10）及（5.11）逐步求的同時，相應(yīng)計算出系數(shù)最后，由和的表達式（5.11）有31第3章5-7節(jié)3.5曲線擬合的最小二乘法并逐步把累加到中去，最后就可得到所求的

用這種方法編程序不用解方程組，只用遞推公式，并且當逼近次數(shù)增加一次時，只要把程序中循環(huán)數(shù)加1，其余不用改變.這里可事先給定或在計算過程中根據(jù)誤差確定.擬合曲線32第3章5-7節(jié)3.5曲線擬合的最小二乘法3.6

最佳平方三角逼近與快速傅里葉變換

當是周期函數(shù)時，顯然用三角多項式逼近比用代數(shù)多項式更合適，本節(jié)主要討論用三角多項式做最小平方逼近及快速傅里葉變換，簡稱FFT算法.33第3章5-7節(jié)3.5曲線擬合的最小二乘法

3.6.1

最佳平方三角逼近與三角插值

設(shè)是以為周期的平方可積函數(shù)，用三角多項式（6.1）作為最佳平方逼近函數(shù).由于三角函數(shù)族在上是正交函數(shù)族，于是在上的最小平方三角逼近多項式的系數(shù)是34第3章5-7節(jié)3.5曲線擬合的最小二乘法

稱為傅里葉系數(shù).

函數(shù)按傅里葉系數(shù)展開得到的級數(shù)（6.3）就稱為傅里葉級數(shù).（6.2）35第3章5-7節(jié)3.5曲線擬合的最小二乘法

只要在上分段連續(xù)，則級數(shù)（6.3）一致收斂到.

對于最佳平方逼近多項式（6.1）有由此可以得到相應(yīng)于（4.11）的貝塞爾不等式因為右邊不依賴于，左邊單調(diào)有界，所以級數(shù)（6.3）（6.1）（4.11）36第3章5-7節(jié)3.5曲線擬合的最小二乘法

當只在給定的離散點集上已知時，則可類似得到離散點集正交性與相應(yīng)的離散傅里葉系數(shù).

下面只給出奇數(shù)個點的情形.收斂，并有37第3章5-7節(jié)3.5曲線擬合的最小二乘法可以證明對任何成立令38第3章5-7節(jié)3.5曲線擬合的最小二乘法這表明函數(shù)族在點集上正交.

若令其中則的最小二乘三角逼近為39第3章5-7節(jié)3.5曲線擬合的最小二乘法當時于是（6.4）就是三角插值多項式，系數(shù)仍由（6.4）表示.40第3章5-7節(jié)3.5曲線擬合的最小二乘法由于所以函數(shù)族在區(qū)間上是正交的.

一般情形，假定是以為周期的復(fù)函數(shù)，給定在個等分點上的值函數(shù)在等距點集上的值組成的向量記作41第3章5-7節(jié)3.5曲線擬合的最小二乘法當時，個復(fù)向量具有如下正交性：（6.5）42第3章5-7節(jié)3.5曲線擬合的最小二乘法事實上，令于是即若若則有則從而43第3章5-7節(jié)3.5曲線擬合的最小二乘法于是若這就證明了（6.5）成立.即是正交的.則于是

因此，在個點上的最小二乘傅里葉逼近為（6.5）44第3章5-7節(jié)3.5曲線擬合的最小二乘法（6.6）其中（6.7）在（6.6）中，若，則為在點上的插值函數(shù)，于是由（6.6）得即（6.8）45第3章5-7節(jié)3.5曲線擬合的最小二乘法

而（6.8）是由求的過程，稱為反變換.（6.7）是由求的過程，稱為的離散傅里葉變換.簡稱DFT，（6.7）（6.8）46第3章5-7節(jié)3.5曲線擬合的最小二乘法

3.6.2

快速傅氏變換（FFT）

不論是按（6.7）式由求，由求，（6.9）其中(正變換)或(反變換)，還是由（6.4）計算傅里葉逼近系數(shù)都可歸結(jié)為計算是已知復(fù)數(shù)序列.或是按（6.8）（6.4）47第3章5-7節(jié)3.5曲線擬合的最小二乘法

當較大且處理數(shù)據(jù)很多時，就是用高速的電子計算機，很多實際問題仍然無法計算，

如直接用（6.9）計算，需要次復(fù)數(shù)乘法和次復(fù)數(shù)加法，稱為個操作，計算全部共要個操作.

直到20世紀60年代中期產(chǎn)生了FFT算法，大大提高了運算速度，從而使傅氏變換得以廣泛應(yīng)用.FFT算法的基本思想就是盡量減少乘法次數(shù).（6.9）48第3章5-7節(jié)3.5曲線擬合的最小二乘法用（6.9）計算全部，表面看要做個乘法，實際上所有中，只有個不同的值特別當時，只有個不同的值.

因此可把同一個對應(yīng)的相加后再乘，這就能大量減少乘法次數(shù).（6.9）49第3章5-7節(jié)3.5曲線擬合的最小二乘法

設(shè)正整數(shù)除以后得商及余數(shù)，則，稱為的同余數(shù)，以表示.

由于

因此計算時可用的同余數(shù)代替，從而推出FFT算法.

以為例.說明FFT的計算方法.

由于則（6.9）的和是（6.10）故有50第3章5-7節(jié)3.5曲線擬合的最小二乘法將用二進制表示為其中只能取0或1.

例如根據(jù)表示法，有公式（6.10）可表示為（6.10）51第3章5-7節(jié)3.5曲線擬合的最小二乘法（6.11）若引入記號（6.12）52第3章5-7節(jié)3.5曲線擬合的最小二乘法則（6.11）變成

它說明利用同余數(shù)可把計算分為步，用公式（6.12）計算.

每計算一個只用2次復(fù)數(shù)乘法，計算一個用次復(fù)數(shù)乘法，計算全部共用次復(fù)數(shù)乘法.

若注意公式（6.12）還可進一步簡化為53第3章5-7節(jié)3.5曲線擬合的最小二乘法將這表達式中二進制表示還原為十進制表示：54第3章5-7節(jié)3.5曲線擬合的最小二乘法（6.13）同樣（6.12）中的也可簡化為即即得55第3章5-7節(jié)3.5曲線擬合的最小二乘法把二進制表示還原為十進制表示，得（6.14）同理（6.12）中可簡化為即56第3章5-7節(jié)3.5曲線擬合的最小二乘法表示為十進制，有（6.15）57第3章5-7節(jié)3.5曲線擬合的最小二乘法

根據(jù)公式(6.13)，(6.14)，(6.15)，由逐次計算到見表3-2(略）.

上面推導(dǎo)的的計算公式可類似地推廣到的情形.

根據(jù)公式(6.13)，(6.14)，(6.15)，一般情況的FFT計算公式如下：58第3章5-7節(jié)3.5曲線擬合的最小二乘法（6.16）其中從出發(fā)，由到算到

一組占用個復(fù)數(shù)單元，計算時需給出兩組單元，括號內(nèi)的數(shù)代表它的位置，在計算機中代表存放數(shù)的地址.即為所求.59第3章5-7節(jié)3.5曲線擬合的最小二乘法

這個計算公式除了具有不倒地址的優(yōu)點外，計算只有兩重循環(huán)，

計算過程中只要按地址號存放則最后得到的就是所求離散頻譜的次序.外循環(huán)由計算到，內(nèi)循環(huán)由計算到由計算到更重要的是整個計算過程省計算量.由公式看到算一個共做次復(fù)數(shù)乘法，而最后一步計算時，由于60第3章5-7節(jié)3.5曲線擬合的最小二乘法

當時比值是它比一般FFT的計算量（次乘法）也快一倍.（注意時故），因此，總共要算次復(fù)數(shù)乘法，它比直接用（6.9）需次乘法快得多，計算量比值是

我們稱（6.16）的計算公式為改進的FFT算法

.61第3章5-7節(jié)3.5曲線擬合的最小二乘法3.7

有理逼近

3.7.1

有理逼近與連分式

有理函數(shù)逼近是指用形如的函數(shù)逼近

與前面討論一樣，如果最小就可得到最佳有理一致逼近.

（7.1）62第3章5-7節(jié)3.5曲線擬合的最小二乘法

如果最小則可得到最佳有理平方逼近函數(shù).

本節(jié)主要討論利用函數(shù)的泰勒展開獲得有理逼近函數(shù)的方法.

對函數(shù)用泰勒展開得（7.2）取部分和63第3章5-7節(jié)3.5曲線擬合的最小二乘法

另一方面,若對（7.2）式用輾轉(zhuǎn)相除可得到的一種連分式展開（7.3）（7.2）64第3章5-7節(jié)3.5曲線擬合的最小二乘法（7.4）（7.3）右端為的無窮連分式的前5項，最后式子

若?。?.3）的前2，4，6，8項，則可分別得到的以下有理逼近:是它的緊湊形式.65第3章5-7節(jié)3.5曲線擬合的最小二乘法

若用同樣多項的泰勒展開部分和逼近并計算處的值及，計算結(jié)果見表3-2.的準確值為從表3-1可以看出，66第3章5-7節(jié)3.5曲線擬合的最小二乘法

但它們的計算量是相當?shù)模@說明用有理逼近比多項式逼近好得多.由此看出的精度比高出近10萬倍，

例9用輾轉(zhuǎn)相除法將它化為連分式并寫成緊湊形式.

解給出有理函數(shù)用輾轉(zhuǎn)相除可逐步得到67第3章5-7節(jié)3.5曲線擬合的最小二乘法

本例中用連分式計算的值只需3次除法，1次乘法和7次加法.68第3章5-7節(jié)3.5曲線擬合的最小二乘法

若直接用多項式計算的秦九韶算法則需6次乘法和1次除法及7次加法.可見將化成連分式可節(jié)省計算乘除法次數(shù).

對一般的有理函數(shù),（7.1）可轉(zhuǎn)化為一個連分式它的乘除法運算只需次.而直接用有理函數(shù)（7.1）計算乘除法次數(shù)為次.69第3章5-7節(jié)3.5曲線擬合的最小二乘法

3.7.2

帕德逼近

利用函數(shù)的泰勒展開可以得到它的有理逼近.

設(shè)在的泰勒展開為（7.5）它的部分和記作（7.6）70第3章5-7節(jié)3.5曲線擬合的最小二乘法

定義11設(shè)其中無公因式，且滿足條件（7.8）則稱為函數(shù)在處的階帕德逼近，記作,簡稱的帕德逼近.如果有理函數(shù)（7.7）71第3章5-7節(jié)3.5曲線擬合的最小二乘法

根據(jù)定義，若令則滿足條件（7.8）等價于即由于應(yīng)用萊布尼茨求導(dǎo)公式得（7.8）72第3章5-7節(jié)3.5曲線擬合的最小二乘法這里