1、主要內(nèi)容第七節(jié) 向量到子空間的距離定義向量到子空間各向量間的最短距離最小二乘法最小二乘法一、定義在解析幾何中，兩個點 和 間的距離等于向量 - 的長度.在歐氏空間中我們同樣可引入定義 13 長度 | - | 稱為向量 和 的距離記為 d( , ) .不難證明距離的三條基本性質(zhì)：1) d( , ) = d( , ) ；2) d( , ) 0，并且僅當 = 時等號才成立;3) d( , ) d( , ) + d( , ) (三角不等式) .二、向量到子空間各向量間的最短距離在中學所學幾何中知道一個點到一個平面(或一條直線)上所有點的距離以垂線最短.下面可以證明一個固定向量和一個子空間中各向量的距離

2、也是以“垂線最短” .先設(shè)一個子空間 W，它是由向量 1, 2, , k所生成，即 W = L(1, 2, , k) .說一個向量 垂直于子空間 W，就是指向量 垂直于 W 中任何一個向量.容易驗證 垂直于 W 的充分必要條件是 垂直于每個i ( i = 1, 2, , k) .現(xiàn)在來證明向量到子空間各向量間的距離以垂線最短.設(shè) 是給定的一向量， 是 W 中的向量，且滿足 - 垂直于 W.要證明 到 W 中各向量的距離以垂線最短，就是要證明，對 W 中任一向量 ，有| - | | - | .我們可以畫出下面的示意圖： - - - W 圖 9-2證明 - = ( - ) + ( - ) .因 W

3、 是子空間， W， W，則 - W.故 - 垂直于 - .由勾股定理，有| - |2 + | - |2 = | - |2 ，故| - | | - | .證畢三、最小二乘法1. 引例上述幾何事實可以用來解決一些實際問題.其中的一個應用就是解決最小二乘法問題.先看下面的例子.引例 已知某種材料在生產(chǎn)過程中的廢品率 y與某種化學成分 x 有關(guān).下列表中記載了某工廠生產(chǎn)中 y 與相應的 x 的幾次數(shù)值：y () 1.00 0.9 0.9 0.81 0.60 0.56 0.35x () 3.6 3.7 3.8 3.9 4.0 4.1 4.2我們想找出 y 對 x 的一個近似公式.解把表中數(shù)值畫出圖來看，

4、發(fā)現(xiàn)它的變化趨勢近于一條直線.因此我們決定選取 x 的一次式ax + b 來表達 .當然最好能選到適當?shù)?a , b 使得下面的等式3.6a + b - 1.00 = 0 ,3.7a + b - 0.9 = 0 ,3.8a + b - 0.9 = 0 ,3.9a + b - 0.81 = 0 ,4.0a + b - 0.60 = 0 ,4.1a + b - 0.56 = 0 ,4.2a + b - 0.35 = 0 都成立.實際上是不可能的.任何 a , b 代入上面各式都會發(fā)生些誤差.于是想找 a , b 使得上面各式的誤差的平方和最小，即找 a , b 使(3.6a + b - 1.00

5、)2 + (3.7a + b - 0.9 )2 + (3.8a + b - 0.9 )2 + (3.9a + b - 0.81 )2+ (4.0a + b - 0.60 )2 + (4.1a + b - 0.56 )2+ (4.2a + b - 0.35 )2 最小.這里討論的是誤差的平方即二乘方，故稱為最小二乘法.現(xiàn)在轉(zhuǎn)向一般的最小二乘法問題.2. 定義定義14 線性方程組可能無解.即任何一組數(shù) x1 , x2 , , xs 都可能使不等于零.我們設(shè)法找 x10 , x20 , , xs0 使(1)最小, 這樣的 x10 , x20 , , xs0 稱為方程組的最小二乘解.這種問題就叫做最小

6、二乘法問題.3. 最小二乘法的代數(shù)表示下面我們利用歐氏空間的概念來表達最小二乘法，并給出最小二乘解所滿足的條件.令(2)用距離的概念，就是| Y - B |2 .最小二乘法就是找x10 , x20 , , xs0 使 Y 與 B 的距離最短.但從知道向量 Y 就是把 A 的各列向量分別記成 1 , 2 , , s .由它們生成的子空間為 L(1 , 2 , , s ) .Y 就是 L(1 , 2 , , s ) 中的向量.于是最小二乘法問題可敘述成：找 X 使最小，就是在 L(1 , 2 , , s ) 中找一向量 Y ，使得 B 到它的距離比到子空間L(1 , 2 , , s ) 中其他向量

7、的距離都短.4. 最小二乘解的求法應用前面所講的結(jié)論，設(shè)Y = AX = x11 + x22 + + xss 是所要求的向量，則C = B - Y = B - AX必須垂直于子空間 L(1 , 2 , , s ) .為此只須而且必須(C , 1) = (C , 2) = = (C , s) = 0 . 回憶矩陣乘法規(guī)則，上述一串等式可以寫成矩陣相乘的式子，即1T C = 0 , 2T C = 0 , , sT C = 0 .而 1T , 2T , , sT 按行正好排成矩陣 AT ，上述一串等式合起來就是AT(B - AX) = 0 ，或AT AX = AT B .這就是最小二乘解所滿足的代數(shù)

8、方程，它是一個線性方程組，系數(shù)矩陣是 ATA，常數(shù)項是 ATB.這種線性方程組總是有解的.(參見第5章習題17)現(xiàn)在回到前面的例子，易知最小二乘解 a , b 所滿足的方程是即為解得a = -1.05 , b = 4.81 (取三位有效數(shù)字) .本節(jié)內(nèi)容已結(jié)束 !若想結(jié)束本堂課, 請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束 !若想結(jié)束本堂課, 請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束 !若想結(jié)束本堂課, 請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束 !若想結(jié)束本堂課, 請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束 !若想結(jié)束本堂課, 請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束 !若想結(jié)束本堂課, 請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束 !若想結(jié)束本堂課, 請單擊

9、返回按鈕.本節(jié)內(nèi)容已結(jié)束 !若想結(jié)束本堂課, 請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束 !若想結(jié)束本堂課, 請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束 !若想結(jié)束本堂課, 請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束 !若想結(jié)束本堂課, 請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束 !若想結(jié)束本堂課, 請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束 !若想結(jié)束本堂課, 請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束 !若想結(jié)束本堂課, 請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束 !若想結(jié)束本堂課, 請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束 !若想結(jié)束本堂課, 請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束 !若想結(jié)束本堂課, 請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束 !若想結(jié)束本堂課, 請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束 !若想結(jié)束本堂課, 請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束 !若想結(jié)束