第4章性能表面的搜索Chap.4SearchingthePerformanceSurface1.本章內(nèi)容為什么要進行梯度搜索？梯度搜索法的基本思想一個簡單的梯度搜索法算法的性能分析學習曲線兩種梯度搜索法穩(wěn)定性收斂速度牛頓法最速下降法當輸入的期望響應均為統(tǒng)計平穩(wěn)過程時，ALC的均方誤差性能表面是權(quán)向量的二次函數(shù)，但在多數(shù)實際運用的場合中，的參數(shù)是未知的，即得不到的解析表達式。因為：不能用Wiener方程來直接得到最佳解所以：只能用搜索的方法來尋找為什么要進行梯度搜索？梯度搜索法的基本思想（1）用梯度來指明的最小值所在的方向梯度搜索法梯度搜索法的基本思想（2）以單權(quán)為例，

單權(quán)時，

其中：過程：從

開始，測該點的梯度（斜率），選一個的新值，使它等于

加上一個正

比于斜率的增量，得到

，測

處的斜率

一直到梯度為零處，過程停止。

使用的是負梯度-------“下山”(downhill)法GradientSearch一個簡單的梯度搜索法將上述思想用數(shù)學方式表達出來

：

常數(shù)，控制收斂速度和穩(wěn)定性在搜索的每一步上，wk的取值？

等比級數(shù)采用歸納法等比級數(shù)求和

算法的性能分析—穩(wěn)定性為使

收斂于

i）是正值，否則會使搜索方向發(fā)生變化-不收斂ii）有上限取值，輸入信號能量越大，

可得：

穩(wěn)定性在算法收斂的前提下，r取值的大小決定了收斂速度

算法的性能分析—收斂速度不穩(wěn)定收斂速度!!

希望0<r<1越小越好，r=0最好??能否做到，是否真的最好學習曲線（learningcurve）定義：

隨k

的變化曲線

自適應過程是一個學習過程，用學習曲線描述學習“效果”用表示學習曲線的公比說明什么問題？從物理上講，任何時刻的均不會小于其最小值

不同迭代次數(shù)及之間的連線沒有物理意義，僅指明了疊代過程中均方誤差的減小過程。?。W習曲線不會出現(xiàn)振蕩現(xiàn)象（欠阻尼）牛頓法（Newton’smethod）：數(shù)學意義重要最速下降法（MethodofsteepestDescent）：實際應用廣泛

兩種梯度搜索法牛頓法定義：

在梯度搜索法中，當r=0時，即時的方法

特點：學習過程處于臨界阻尼狀態(tài)稱作牛頓法。對于二次型性能表面而言，該方法一步迭代就能收斂?；舅枷耄▎螜?quán)情況為例）與數(shù)學中求解方程根的牛頓有對應關(guān)系。

求函數(shù)的零點!!

如果知道

點的函數(shù)值和梯度值，就可以得出

當用來搜索性能表面時，希望

（梯度）

則有

令梯度的搜索實際中必須估計和對于二次型函數(shù)，若已知，則二次型函數(shù)的特殊之處一步搜索到最佳值前提條件：

精確已知是二次型1）

2）

定義：在多維二次型性能表面上，一步搜索到達最佳解的方法稱作多維牛頓法。

一維

→

多維

左邊乘，得到多維空間的牛頓法當為二次型時：所以：

可以看出：即使對于多維情況，牛頓法仍可一步搜索出由于的存在權(quán)值搜索不是在橢圓的中心，即的方向進行的，而是指向牛頓法的搜索方向梯度搜索法：牛頓法：有時并不希望一步調(diào)整到

上，此時用代替1/2目的：調(diào)整收斂速度。歸納可知：算法推廣非二次型性能表面舉例與牛頓法不同，有量綱，為功率的倒數(shù)。

定義：在負梯度方向上調(diào)整權(quán)向的自適應方法。

直接用多維形式最速下降法權(quán)值搜索過程的比較—牛頓法第n個分量：

各個分量各自調(diào)整，相互之間沒有影響權(quán)值調(diào)整是去耦的牛頓法：第

n個分量：

權(quán)值搜索過程的比較—最速下降法最速下降法：耦合的權(quán)值調(diào)整方式變換坐標系，簡化問題平移坐標系：最速下降法—去耦分析主軸坐標系：第

n個分量：權(quán)值調(diào)整時，個分量之間沒有耦合存在。性能分析起來更方便，更簡單。主軸坐標系中由歸納推理：收斂條件：

即：穩(wěn)定性分析每一個分量都有一個需要滿足的步長要求。選擇其中為苛刻的條件：即可使所有分量都收斂。最速下降法搜索過程主軸方向上有不同但各自恒定的公