第五章回歸分析回歸分析一元線性回歸

在現(xiàn)實(shí)問題中處于同一個(gè)過程中的一些變量往往是相互依賴和相互制約的，它們之間的相互關(guān)系大致可分為兩種：(1)確定性關(guān)系--函數(shù)關(guān)系

(2)非確定性關(guān)系--相關(guān)關(guān)系：變量之間有一定的依賴關(guān)系，但這種關(guān)系并不完全確定?？煽刈兞浚嚎梢栽谀撤秶鷥?nèi)隨意地取指定數(shù)值-自變量不可控變量:可以觀測但不可控制(隨機(jī)變量)--因變量回歸分析：研究一個(gè)隨機(jī)變量與一個(gè)（或幾個(gè)）可控變量之間相關(guān)關(guān)系地統(tǒng)計(jì)方法。

只有一個(gè)自變量的回歸分析叫做一元回歸分析；多于一個(gè)自變量的回歸分析叫做多元回歸分析。

回歸分析主要內(nèi)容:提供建立有相關(guān)關(guān)系的變量之間的數(shù)學(xué)關(guān)系式(經(jīng)驗(yàn)公式)的一般方法;(2)判別所建立的經(jīng)驗(yàn)公式是否有效;(3)利用所得到的經(jīng)驗(yàn)公式進(jìn)行預(yù)測和控制.5.1一元線性回歸(一)一元線性回歸模型

設(shè)與有相關(guān)關(guān)系,當(dāng)自變量時(shí),因變量并不取固定的值與其對應(yīng).如果要用函數(shù)關(guān)系近似與的相關(guān)關(guān)系,很自然想到,應(yīng)該以作為與相對應(yīng)的數(shù)值.（5－1）其中為常數(shù)，則稱與之間存在線性相關(guān)關(guān)系，稱（5－1）為一元正態(tài)線性回歸模型，簡稱一元線性模型，其回歸函數(shù)記為稱為對的線性回歸，稱為回歸常數(shù)，稱為回歸系數(shù)。

由（5－1）得，可知取不同數(shù)值時(shí)，便得到不同的正態(tài)變量。其中為未知的常數(shù)。由獨(dú)立知道也相互獨(dú)立，且稱為獨(dú)立樣本的一個(gè)（或一組）樣本觀測值，其中為取固定值時(shí)，對進(jìn)行一次試驗(yàn)所得到的觀測值。利用獨(dú)立樣本及其樣本值可得的估計(jì)量及估計(jì)值和從而得到回歸函數(shù)的估計(jì)稱為對的經(jīng)驗(yàn)回歸方程或經(jīng)驗(yàn)公式。把樣本值作為平面直角坐標(biāo)系的個(gè)點(diǎn)描出來，構(gòu)成實(shí)驗(yàn)的散點(diǎn)圖。根據(jù)散點(diǎn)圖，適當(dāng)?shù)剡x擇一個(gè)函數(shù)使得在一定意義下最好地吻合于觀測結(jié)果常用的是最小二乘法，即.......二、未知參數(shù)的估計(jì)1.正規(guī)方程組、回歸系數(shù)的點(diǎn)估計(jì)根據(jù)最小二乘法求線性回歸函數(shù)的估計(jì)就是求使得取得最小值的即根據(jù)微分學(xué)中的二元函數(shù)極值的充分條件,將分別對求一階偏導(dǎo)數(shù)并令其為零經(jīng)過整理后得到線性方程組其中正規(guī)方程組解此方程組即得使取得最小值的分別稱為的最小二乘估計(jì)值.于是,得到對的經(jīng)驗(yàn)回歸方程注:用最小二乘法得到的經(jīng)驗(yàn)回歸直線通過已知個(gè)數(shù)據(jù)點(diǎn)的幾何重心把估計(jì)值中的分別用來代替,就得到了參數(shù)的估計(jì)量.為了方便,我們引進(jìn)幾個(gè)常用的記號則參數(shù)估計(jì)量回歸方程定理1:

在一元線性回歸模型中,

和相互獨(dú)立.證明:即與不相關(guān).但與都是獨(dú)立正態(tài)變量的線性組合,因此,與的聯(lián)合分布為正態(tài)分布.對于正態(tài)隨機(jī)向量來說不相關(guān)和相互獨(dú)立是等價(jià)的.證畢定理2:

在一元線性回歸模型中,的最小二乘估計(jì)量的數(shù)學(xué)期望和方差為證明:證畢.由定理2可看出,當(dāng)時(shí),取最小值;與成反比.所以,為了提高和的估計(jì)精度,最好選擇使,并且應(yīng)比較分散.注:

的最小二乘估計(jì)量與極大似然估計(jì)量相等.2.參數(shù)的點(diǎn)估計(jì)當(dāng)?shù)臉O大似然估計(jì)量已得到后,的估計(jì)量可由似然方程可得的極大似然估計(jì)量為記即是的極大似然估計(jì)量.定理3:

在一元線性模型中證明:而又于是有證畢.由定理3可得是的無偏估計(jì).3.估計(jì)量和的分布定理4:在一元線性模型中(1)(2)(3)(4)(5)相互獨(dú)立.4.未知參數(shù)和的區(qū)間估計(jì)定理5.

在一元線性模型中證明:由定理4,得由定理4的(5)可知,分別相互獨(dú)立,再由t分布的定義,即得證畢由定理5及t分布的分位數(shù),得即得的置信區(qū)間為類似,的置信區(qū)間為由易得的置信區(qū)間為三、線性回歸效果的顯著性檢驗(yàn)

我們在求Y對x的線性回歸之前，必須判斷Y與x的關(guān)系是否滿足一元線性回歸模型。理論上講，這要求檢驗(yàn)（1）對x取任一固定值時(shí)，Y都服從正態(tài)分布，而且方差相同；（2）x在某一范圍取值時(shí)，EY是x的線性函數(shù)；（3）在x取各個(gè)不同值時(shí)，相應(yīng)的Y是相互獨(dú)立的。但要檢驗(yàn)這三條不僅需要大量的試驗(yàn)，還要進(jìn)行大量的計(jì)算，實(shí)際上很難辦到。（1）x對Y沒有顯著影響，應(yīng)丟掉自變量x；（2）x對Y有顯著影響，但不能用線性相關(guān)關(guān)系來表示；（3）除x外還有其它不可忽略的變量對Y也有顯著影響，從而削弱了x對Y的影響，應(yīng)考慮多元線性回歸。1.F檢驗(yàn)法考慮令計(jì)算后可得一元線性模型中的平方和分解公式：總偏差平方和回歸平方和殘差平方和總偏差（離差）平方和回歸平方和因?yàn)槭Ｓ嗥椒胶停ɑ驓埐钇椒胶停┢椒胶头纸夤剑海?）由于x對Y的線性相關(guān)關(guān)系而引起的Y的分散性。（2）剩余因素引起的Y的分散性。定理6：證明：對于檢驗(yàn)證畢2.t檢驗(yàn)法由定理5知3.r檢驗(yàn)法為了檢驗(yàn)Y與x是否有線性相關(guān)性，也可用統(tǒng)計(jì)量相關(guān)系數(shù)進(jìn)行檢驗(yàn)兩邊平方得于是得到即這說明Y與x之間不存在線性相關(guān)關(guān)系。(2