#/6到引用源。上的平滑函數(shù)，假設錯誤！未找到引用源。。最小二乘問題可以認為是無約束優(yōu)化問題的最大來源，可以廣泛地應用于多個領域。利用公式(2.1)描述辨識模型與實際系統(tǒng)的誤差值。通過最小化該函數(shù)，能夠選擇出與模型最好匹配的參數(shù)值。定義向量錯誤！未找到引用源。為：錯誤！未找到引用源。(2.2)因此，可以將f修改為：f3=撲00吃對f(x)求一階導數(shù)：錯誤！未找到引用源。(2.3)用錯誤！未找到引用源。表示錯誤！未找到引用源。的梯度，這樣，f的梯度可以表示為：錯誤！未找到引用源。(2.4)在很多應用場合中，計算出一階偏導數(shù)組成Jacobian矩陣J(x)是可以實現(xiàn)的。因此可以求出公式(2.4)中的梯度錯誤！未找到引用源。。目標函數(shù)f(x)的二階導數(shù)形式為：THTH卩f(咒)3財、Vi}(jc)V2^(￥);=i;=im=廠(紛/(町+》巧口)護與j=l利用錯誤！未找到引用源。，我們可以計算出上式中的第一項錯誤！未找到引用源。，無需考慮錯誤！未找到引用源。的二階導數(shù)項。通常情況下，上式中的錯誤！未找到引用源。比公式中的第二項更重要。4.2線性最小二乘問題在錯誤！未找到引用源。為線性的特殊情況下，錯誤！未找到引用源。為一個常數(shù)，錯誤！未找到引用源。可記為：錯誤！未找到引用源。(2.5)其中，錯誤！未找到引用源。。另外錯誤！未找到引用源。。注意到，由于錯誤！未找到引用源。對任意的錯誤！未找到引用源。都成立，使得錯誤！未找到引用源。中的第二項消失。函數(shù)錯誤！未找到引用源。是一個凸函數(shù)。通過令錯誤！未找到引用源?？傻?，公式(2.5)中的解錯誤！未找到引用源。一定滿足：錯誤！未找到引用源。(2.6)式(2.6)被稱為是(2.5)的正則方程(normalequations)。在錯誤！未找到引用源。，并且錯誤!未找到引用源。為列滿秩的條件下，對于線性最小二乘問題，可以簡單地概況為三種主要算法。http://190210.com/方法一即為最直觀的算法，就是通過下面的三個步驟構造并求解系統(tǒng)(2.6)：.計算系數(shù)矩陣錯誤！未找到引用源。以及右邊項錯誤！未找到引用源。；.計算對稱矩陣錯誤！未找到引用源。的Cholesky因子；.用所計算出的Cholesky因子進行兩次三角替換，以重新獲得解錯誤!未找到引用源。。方法二基于矩陣錯誤！未找到引用源。的QR因子。由于對于任意錯誤！未找到弓I用源。維正交矩陣Q,都有:錯誤！未找到引用源。(2.7)通過QR因子對矩陣錯誤！未找到引用源。進行列變換，得到：錯誤！未找到引用源。(2.8)其中錯誤！未找到引用源。為錯誤！未找到引用源。維變換矩陣，錯誤！未找到引用源。為矩陣錯誤！未找到引用源。的前n歹U，R為錯誤！未找到引用源。維上三角矩陣。綜合(2.7)與(2.8)，可以得到ll/x+r||ii=鴛grr+r)Lt?2-=||^(TTx)+err||i+||Qlr|||i任何關于錯誤！未找到引用源。的選擇對于上面表達式的第二項都沒有影響，但我們可以通過令第一項為0使得錯誤！未找到引用源。達到最小值，即x*=-VR-1Q[r實際應用中，利用三角替換求解錯誤！未找到引用源。，然后通過對錯誤！未找到引用源。的分量進行序列變換而得到錯誤！未找到引用源。。方法三基于矩陣錯誤！未找到引用源。的單值分解(SVD)得到，敘述如下：矩陣錯誤！未找到引用源。的SVD為：錯誤！未找到引用源。(2.9)其中，錯誤！未找到引用源。為錯誤！未找到引用源。維正交矩陣，錯誤！未找到引用源。為錯誤！未找到引用源。的前n歹U；錯誤！未找到引用源。為錯誤！未找到引用源。維對角陣，對角元為錯誤！未找到引用源。。最后，我們可以得到：[=11上式給出了關于錯誤！未找到引用源。敏感度的重要信息。當錯誤！未找到引用源。很小時，錯誤！未找到引用源。對錯誤！未找到引用源。的微小變動十分敏感，這一信息對當錯誤！未找到引用源。接近非滿秩時十分重要。以上三種算法均有各自的應用場合。基于Cholesky的方法適于錯誤！未找到引用源。時，并且算法中實際存儲的是錯誤！未找到引用源。而非矩陣錯誤！未找到引用源。本身；QR方法避免了條件數(shù)的平方項，因此在數(shù)值魯棒性方面更具優(yōu)越性；SVD方法具有最好的魯棒性和可信性，然而算法的代價最大?？筛鶕?jù)實際問題對最小二乘算法進行選擇，當問題規(guī)模很大時，通常需要使用迭代才能有較高的效率。4.3非線性最小二乘問題非線性最小二乘問題的最簡單的方法是Gauss-Newton算法，可以認為是線搜索算法中Newton法的改進。此外，還有Levenberg-Marquardt方法。這兩種方法都能夠解決非線性的最小二乘問題，但由于控制系統(tǒng)中研究的大部分系統(tǒng)都為線性時不變系統(tǒng)，在較為簡單的非線性系統(tǒng)中，通常將系統(tǒng)進行線性化處理，將非線性系統(tǒng)轉變成分段線性的系統(tǒng)，這樣就可以利用線性系統(tǒng)的方法進行求解計算。所以對于非線性最小二乘問題4/6的算法，不做詳細介紹。五、結束語最小二乘問題廣泛地存在于工業(yè)領域、經濟領域、醫(yī)學領域等多個領域中，最小二乘算法在實際中具有很好的應用。本文通過對文獻中優(yōu)化問題的描述，概括了文獻中對水壓仿真器模型的構建過程及辨識過程，對最小二乘問題進行了較為詳細的介紹?？刂葡到y(tǒng)中大多數(shù)問題會轉換為線性系統(tǒng)進行分析，所涉及的非線性問題在簡單系統(tǒng)中并不常見，所以，本文中針對非線性最小二乘問題并沒有做出過多的介紹。控制系統(tǒng)中的優(yōu)化問題十分常見，所采用的優(yōu)化方法也多種多樣，除了最小二乘算法外，還會涉及到許多最優(yōu)化算法對系統(tǒng)的最優(yōu)解進行求解和尋找。優(yōu)化問題廣泛地存在于控制領域，并且優(yōu)化算法具有十分重要的實用性。參考文獻.WanYamin.ApplicationofSystemIdentificationintheExperimentalModelingofPressureSimulator,ComputerMeasurement&Control.2004.12(7).劉靜紈.最小二