1、近代時(shí)間序列分析選講: 一. 非線性時(shí)間序列二. GARCH模型三. 多元時(shí)間序列四. 協(xié)整模型 第一部分 非線性時(shí)間序列第一章. 非線性時(shí)間序列淺釋1. 從線性到非線性自回歸模型2. 線性時(shí)間序列定義的多樣性 第二章. 非線性時(shí)間序列模型 1. 概述 2. 非線性自回歸模型3. 帶條件異方差的自回歸模型4. 兩種可逆性5. 時(shí)間序列與偽隨機(jī)數(shù)第三章. 馬爾可夫鏈與AR模型 1. 馬爾可夫鏈2. AR模型所確定的馬爾可夫鏈3. 若干例子第四章. 統(tǒng)計(jì)建模方法 1. 概論 2. 線性性檢驗(yàn)3. AR模型參數(shù)估計(jì)4. AR模型階數(shù)估計(jì)第五章. 實(shí)例和展望 1. 實(shí)例2. 展望 第一章. 非線性時(shí)間

2、序列淺釋1. 從線性到非線性自回歸模型時(shí)間序列xt是一串隨機(jī)變量序列,它有廣泛的實(shí)際背景, 特別是在經(jīng)濟(jì)與金融領(lǐng)域中尤其顯著. 關(guān)于它們的從線性與非線性概念, 可從以下的例子入手作一淺釋的說明.考查一階線性自回歸模型-LAR(1):xt=axt-1+et, t=1,2, (1.1)其中ett=0, Eet=s2<¥, 而且et與xt-1,xt-1,獨(dú)立. 反復(fù)使用(1.1)式的遞推關(guān)系, 就可得到xt=axt-1+et= et + axt-1= et + a et-1 + axt-2= et + aet-1 + a2 xt-2 = et + aet-1 + a2et-2+ an

3、-1et-n+1 +anxt-n. (1.2)如果當(dāng)n®¥時(shí), anxt-n®0, (1.3)et+aet-1+a2et-2+an-1et-n+1 ® åj=0¥ ajet-j . (1.4) 雖然保證以上的收斂是有條件的, 而且要涉及到具體收斂的含義, 但是, 對(duì)以上的簡(jiǎn)單模型, 不難相信, 當(dāng)|a|<1時(shí), (1.3)(1.4)式成立. 于是, 當(dāng)|a|<1時(shí), 模型LAR(1)有平穩(wěn)解, 且可表達(dá)為 xt=åj=0¥ ajet-j . (1.5)通過上面敘述可見求LAR(1)模型的解有簡(jiǎn)便之優(yōu)點(diǎn),

4、 此其一. 還有第二點(diǎn), 容易推廣到LAR(p)模型. 為此考查如下的p階線性自回歸模型LAR(p):xt=a1xt-1+a2xt-2+.+apxt-p+et, t=1,2, (1.6)其中ett=0, Eet=s2<¥, 而且et與xt-1, xt-1,獨(dú)立.雖然反復(fù)使用(1.6)式的遞推式, 仍然可得到(1.2)式的類似結(jié)果, 但是,用擴(kuò)張后的一階多元AR模型求解時(shí), 可顯示出與LAR(1)模型求解的神奇的相似. 為此記Xt=, U=,A=, (1.7)于是(1.6)式可寫成如下的等價(jià)形式: Xt=A Xt-1+ etU. (1.8) 反復(fù)使用此式的遞推關(guān)系, 形式上仿照(

5、1.2)式可得Xt=AXt-1+etU= etU+ et-1AU+A2xt-2=¼=etU+et-1AU+et-2A2U+et-n+1An-1U+Anxt-n. 如果矩陣A的譜半徑(A的特征值的最大模)l(A), 滿足如下條件 l(A)<1, (1.10)由上式可猜想到(1.8)式有如下的解: Xt=åk=0¥AkUet-k. (1.11)其中向量Xt的第一分量xt形成的序列xt, 就是模型(1.6)式的解. 由此不難看出, 它有以下表達(dá)方式xt=åk=0¥jket-k. (1.11)其中系數(shù)jk由(1.6)式中的a1,a2, . ,ap

6、確定, 細(xì)節(jié)從略. 不過, (1.11)式給了我們重要啟發(fā), 即考慮形如xt=åk=0¥yket-k, åk=0¥yk2 < ¥, (1.12)的時(shí)間序列類 (其中系數(shù)yk能保證(1.12)式中的xt有定義). 在文獻(xiàn)中, 這樣的序列xt就被稱為線性時(shí)間序列.雖然以上給出了線性時(shí)間序列的定義, 以下暫時(shí)不討論什么是非線性時(shí)間序列, 代之先討論一階非線性自回歸模型-NLAR(1), 以便與LAR(1)模型進(jìn)行比較分析. 首先寫出NLAR(1)模型如下xt=j(xt-1)+et, t=1,2, (1.13)其中ett=0, Eet=s2<

7、;¥, 而且et與xt-1,xt-2,獨(dú)立, 這些假定與LAR(1)模型相同, 但是, j(xt-1)不再是xt-1的線性函數(shù), 代之為非線性函數(shù), 比如j(xt-1)=xt-1/a+bxt-12. 此時(shí)雖然仍可反復(fù)使用(1.13)式進(jìn)行迭代, 但是所得結(jié)果是 xt=j (xt-1) +et = et+ j (xt-1) = et+ j ( et-1+ j (xt-2) = et+ j ( et-1+ j ( et-2+ j (xt-3) =et+j ( et-1+ j ( et-2+ +j (xt-n). (1.14)根據(jù)此式, 我們既不能輕易判斷j(xt-1)函數(shù)滿足怎樣的條件時(shí)

8、, 上式會(huì)有極限, 也不能猜測(cè)其極限有怎樣的形式.對(duì)于p階非線性自回歸模型 xt=j(xt-1,xt-2,xt-p)+et, t=1,2, (1.15)仿照(1.6)至(1.9)式的擴(kuò)張的方法, 我們引入如下記號(hào) F( xt-1,xt-2,xt-p)º, (1.16)我們得到與(1.15)式等價(jià)的模型Xt=F(Xt-1) +etU, t=1,2, (1.17) 但是, 我們?cè)僖驳貌怀?1.9)至(1.14)式的結(jié)果,至此我們已將看出, 從線性到非線性自回歸模型有實(shí)質(zhì)性差異, 要說清楚它們, 并不是很簡(jiǎn)單的事情. 從數(shù)學(xué)角度而言, 討論線性自回歸模型可借用泛函分析方法, 然而, 討論非

9、線性自回歸模型, 則要借用馬爾可夫鏈的理論和方法. 這也正是本講座要介紹的主要內(nèi)容.2. 線性時(shí)間序列定義的多樣性 現(xiàn)在簡(jiǎn)單敘述一下非線性時(shí)間序列定義的復(fù)雜性, 它與線性時(shí)間序列的定義有關(guān). 前一小節(jié)中(1.12)式所顯示的線性時(shí)間序列, 只是一種定義方式. 如果改變對(duì)系數(shù)ykt放寬為平穩(wěn)鞅差序列, 這在預(yù)報(bào)理論中很有意義. 無論引用哪一種線性時(shí)間序列定義, 都對(duì)相應(yīng)的序列的性質(zhì)有所研究, 因?yàn)槠溲芯砍晒捎糜谟嘘P(guān)的線性時(shí)間序列模型解的特性研究. 事實(shí)上, 已經(jīng)有豐富的成果被載入文獻(xiàn)史冊(cè).依上所述可知, 由于線性時(shí)間序列定義的多樣性, 必然帶來非線性時(shí)間序列定義的復(fù)雜性. 這里需要強(qiáng)調(diào)指的是,

10、 對(duì)于非線性時(shí)間序列, 幾乎沒有文章研究它們的一般性質(zhì), 這與線性時(shí)間序列情況不同. 于是人們要問, 我們用哪些工具來研究非線性時(shí)間序列模型解的特性呢? 這正是本次演講要回答的問題. 確切地說, 我們將介紹馬爾可夫鏈, 并借助于此來討論非線性自回歸模型解的問題. 第二章. 非線性時(shí)間序列模型1. 概論從(1.12)式可見，一個(gè)線性時(shí)間序列xt, 被et的分布和全部系數(shù)yi 所決定. 在此有無窮多個(gè)自由參數(shù)，這對(duì)統(tǒng)計(jì)不方便，因此人們更關(guān)心只依賴有限個(gè)自由參數(shù)的線性時(shí)間序列，這就是線性時(shí)間序列的參數(shù)模型. 其中最常用的如ARMA模型. 對(duì)于非線性時(shí)間序列而言, 使用參數(shù)模型方法幾乎是唯一的選擇.

11、由于非線性函數(shù)的多樣性, 帶來了非線性時(shí)間序列模型的多樣性. 但是, 迄今為止被研究得較多, 又有應(yīng)用價(jià)值的非線性時(shí)序模型, 為數(shù)極少, 而且主要是針對(duì)非線性自回歸模型. 在介紹此類模型之前, 我們先對(duì)非線性時(shí)序模型的分類作一概述.通用假定: etet=0, 而且et與xt-1, xt-2,獨(dú)立.可加噪聲模型:xt=j(xt-1,xt-2,)+et, t=1,2, (2.1)其中j()是自回歸函數(shù). 當(dāng)它僅依賴于有限個(gè)未知參數(shù)時(shí), 記此參數(shù)向量為a, 其相應(yīng)的(2.1)模型常寫成xt=j(xt-1,xt-2,;a)+et, t=1,2, (2.2)否則, 稱(2.1)式稱為非參數(shù)模型. 關(guān)于(

12、2.1)(2.2)的模型的平穩(wěn)性, 要在下一章討論, 但是, 它有類似于線性AR模型的幾個(gè)簡(jiǎn)單性質(zhì), 是重要的而且容易獲得的, 它們是:E(xt|xt-1,xt-2,)=Ej(xt-1,xt-2,)+et|xt-1,xt-2,=j(xt-1,xt-2,)+E(et|xt-1,xt-2,)=j(xt-1,xt-2,) (2.3)varxt|xt-1, xt-2 , ºExt-j(xt-1,)2|xt-1, xt-2 , = Eet2|xt-1, xt-2 , = Eet2=s2. (2.4)Pxt<x|xt-1,xt-2, = Pj(xt-1,)+et<x|xt-1,xt-

13、2, = Pet<x-j(xt-1,)|xt-1,xt-2, =Fe(x-j(xt-1,). (2.5)其中Fe是et的分布函數(shù).帶條件異方差的模型:xt=j(xt-1,xt-2,)+S(xt-1,xt-2,)et, t=1,2, (2.6)其中j()和S()也有限參數(shù)與非參數(shù)型之分, 這都是不言自明的. 另外, (2.6)式顯然不屬于可加噪聲模型. 但是, 它比下面的更一般的非可加噪聲模型要簡(jiǎn)單得多. 這可通過推廣(2.3)(2.4)(2.5)式看出, 即有,E(xt|xt-1,xt-2,)=Ej(xt-1,xt-2,)+S(xt-1,xt-2,)et|xt-1,xt-2,=j(xt-

14、1,xt-2,)+S(xt-1,xt-2,)Eet|xt-1,xt-2,=j(xt-1,xt-2,) . (2.3)varxt|xt-1, xt-2 , ºExt-j(xt-1,)2|xt-1, xt-2 , =ES2(xt-1,xt-2,)et2|xt-1, xt-2 , =S2(xt-1,xt-2,)Eet2|xt-1, xt-2 , =S2(xt-1,xt-2,)s2. (2.4)Pxt<x|xt-1,xt-2, =Pj(xt-1,)+S(xt-1,)et<x|xt-1, xt-2 , = Pet<x-j(xt-1,)/S(xt-1,)=Fe(x-j(xt-1

15、,)/S(xt-1,). (2.5)一般非線性時(shí)序模型:xt=y(xt-1,xt-2,; et, et-1,) t=1,2, (2.7)其中y()也有參數(shù)與非參數(shù)型之區(qū)別, 這也是不言自明的. 顯然, (2.7)式既不是可加噪聲模型, 也不屬于(2.6)式的帶條件異方差的模型. 雖然, 它可能具有條件異方差性質(zhì). 相反, 后兩者都是(2.7)式的特殊類型. 雖說(2.7)式是更廣的模型形式, 在文獻(xiàn)中卻很少被研究. 只有雙線性模型作為它的一種特殊情況, 在文獻(xiàn)中有些應(yīng)用和研究結(jié)果出現(xiàn). 現(xiàn)寫出其模型于后, 可供理解其雙線性模型的含義xt=åj=1pajxt-j+åj=1qb

16、jet-j+åi=1Påj=1Qqijet-ixt-j. 2. 非線性自回歸模型在前一小節(jié)中的(2.1)和(2.2)式就是非線性自回歸模型, 而且屬于可加噪聲模型類. 在這一小節(jié)里, 我們將介紹幾種(2.2)式的常見的模型. 函數(shù)后的線性自回歸模型:f(xt)=a1f(xt-1)+a2f(xt-2)+.+apf(xt-p)+et, t=1,2, (2.8)其中f(.)是一元函數(shù), 它有已知和未知的不同情況, 不過總考慮單調(diào)增函數(shù)的情況, a=(a1,a2,ap)t是未知參數(shù). 在實(shí)際應(yīng)用中, xt是可獲得量測(cè)的序列. 當(dāng)f(.)是已知函數(shù)時(shí), f(xt)也是可獲得量測(cè)的序列

17、, 于是只需考慮yt=f(xt)所滿足的線性AR模型yt=a1yt-1+a2yt-2+.+apyt-p+et, t=1,2, (2.9)此時(shí)可不涉及非線性自回歸模型概念. 在宏觀計(jì)量經(jīng)濟(jì)分析中, 常常對(duì)原始數(shù)據(jù)先取對(duì)數(shù)后, 再作線性自回歸模型統(tǒng)計(jì)分析, 就屬于此種情況. 這種先取對(duì)數(shù)的方法, 不僅簡(jiǎn)單, 而且有經(jīng)濟(jì)背景的合理解釋,它反應(yīng)了經(jīng)濟(jì)增長(zhǎng)幅度的量化規(guī)律. 雖然在統(tǒng)計(jì)學(xué)中還有更多的變換可使用, 比如Box-Cox變換, 但是, 由于缺少經(jīng)濟(jì)背景的合理解釋, 很少被使用. 由此看來, 當(dāng)f(.)有實(shí)際背景依據(jù)時(shí), 可以考慮使用(2.7)式的模型. 當(dāng)f(.)是未知函數(shù)時(shí), f(xt)不是可

18、量測(cè)的序列, 于是只能考慮(2.8)模型. 注意f(.)是單調(diào)函數(shù), 可記它的逆變換函數(shù)為f-1(.), 于是由(2.8)模型可得xt= f-1(a1f(xt-1)+a2f(xt-2)+.+apf(xt-p)+et),t=1,2, (2.9)此式屬于(2.7)式的特殊情況, 此類模型很少被使用. 取而代之是考慮如下的模型xt=a1f(xt-1)+a2f(xt-2)+.+apf(xt-p)+et, t=1,2, (2.10)其中f(.)是一元函數(shù), 也有已知和未知之分, 可不限于單調(diào)增函數(shù). 此式屬于(2.1)式的特殊情況, 有一定的使用價(jià)值. 當(dāng)(2.10)式中的f(.)函數(shù)是已知時(shí), 此式還

19、有更進(jìn)一步的推廣模型, xt=a1f1(xt-1,xt-s)+a2f2(xt-1,xt-s)+.+apfp(xt-1,xt-s)+et, t=1,2, (2.11)其中fk()(k=1,2,p)是已知的s元函數(shù).例如, 以后將要多次提到的如下的模型:xt=a1I(xt-1<0)xt-1+a2I(xt-1³0)xt-1+et, t=1,2, (2.12)其中I(.)是示性函數(shù). 此模型是分段線性的, 是著名的TAR模型的特殊情況. 為了有助于理解它, 我們寫出它的分段形式:xt= t=1,2, 請(qǐng)注意, (2.8)(2.10)和(2.11)式具有一個(gè)共同的特征, 就是未知參數(shù)都以

20、線性形式出現(xiàn)在模型中. 這一特點(diǎn)在統(tǒng)計(jì)建模時(shí)帶來極大的方便. 此類模型便于實(shí)際應(yīng)用. 但是, 對(duì)于xt而言不具有線性特性, 所以, 討論它們的平穩(wěn)解的問題, 討論它們的建模理論依據(jù)問題,都需要借助于馬爾可夫鏈的工具. 已知非線性自回歸函數(shù)的模型:xt=j(xt-1,xt-2,xt-p;a)+et, t=1,2, (2.13)其中j()是p元已知函數(shù), 但是其中含有未知參數(shù)a=(a1,a2,ap)t.一般說來, a在一定范圍內(nèi)取值.例如,xt=, t=1,2, 其中a=(a1,a2)t是未知參數(shù), 它們的取值范圍是: -¥<a<¥, 0£a<

21、65;.這里需要指出, 使用上式的模型, 不僅要借助于馬爾可夫鏈的工具, 而且在統(tǒng)計(jì)建模時(shí)遇到兩種麻煩, 其一是參數(shù)估計(jì)的計(jì)算麻煩, 二是確定j()函數(shù)的麻煩. 一般來說, 只有根據(jù)應(yīng)用背景能確定j()函數(shù)時(shí), 才會(huì)考慮使用此類模型.廣義線性模型(神經(jīng)網(wǎng)絡(luò)模型):xt=j(a1xt-1+a2xt-2+apxt-p)+et, t=1,2, (2.14)其中j(.)是一元已知或未知函數(shù), 參數(shù)a=(a1,a2,ap)t總是未知的. 為保證模型的唯一確定性, 或者說是可識(shí)別性, 要對(duì)a作些約定, 其一, |a|=1, 其二, a=(a1,a2,ap)t中第一個(gè)非零分量為正的. 不難理解, 若不加這兩

22、條約定, 模型(2.14)不能被唯一確定.當(dāng)j(.)是一元已知函數(shù)時(shí), 與神經(jīng)網(wǎng)絡(luò)模型相通.當(dāng)j(.)是一元未知函數(shù)時(shí), 與回歸模型中的PP方法相通.除了以上兩類模型外, 還有(2.1)式的非參數(shù)自回歸模型, 以及從統(tǒng)計(jì)學(xué)中引入的半?yún)?shù)自回歸模型. 對(duì)它們的統(tǒng)計(jì)建模更困難. 本講座主旨在于介紹如何用馬爾可夫鏈的工具, 描述非線性自回歸模型的基本特性問題, 對(duì)這類模型不再仔細(xì)討論.3. 帶條件異方差的自回歸模型 在第一小節(jié)中的(2.6)式就是帶條件異方差的自回歸模型. 在這一小節(jié)里, 我們將介紹幾種(2.2)式的常見參數(shù)模型.參數(shù)型條件異方差的自回歸模型:xt=j(xt-1,xt-2,xt-p)

23、+S(xt-1,xt-2,xt-q)et, t=1,2, (2.15)其中j()是p元函數(shù), S()是q元函數(shù). 它們也有限參數(shù)型和非參數(shù)型之分別, 這里不在贅述. 有兩點(diǎn)必須指出: 為了保證(2.15)式中的j()和S()被唯一確定, 還要限定Eet2=1; 另外, 在根據(jù)數(shù)據(jù)為(2.15)式建模時(shí), 需要對(duì)j()和S()都作估計(jì). xt=j(xt-1,xt-2,xt-p)+a0+a1xt-12+apxt-p21/2et, =j(xt-1,xt-2,xt-p)+S(xt-1,xt-2,xt-q)et, t=1,2, (2.16)其中S2(xt-1,xt-2,xt-q)=a0+a1xt-12+

24、apxt-p2. (2.17)我們將看到, 帶異方差A(yù)RCH模型的自回歸模型. 它們都可以借助于馬爾可夫鏈的工具加以研究, 但是, 對(duì)于推廣后的GARCH模型, 還會(huì)遇到某些麻煩.此為后話.現(xiàn)在, 讓我們?cè)倩仡櫼幌?2.12)式的原始的一般形式:xt=t=1,2, (2.18)其中e1t和e2te1tN(0,s12), e2tN(0,s22),此外, 在(2.18)式中, d³1可能是未知的, c被稱為門限值, 一般也是未知的, 這些未知信息都會(huì)帶來統(tǒng)計(jì)的麻煩. 現(xiàn)在我們關(guān)心它的類型問題. 為此先改寫它的形式如下:xt=a10+a11xt-1+a1pxt-p+e1tI(xt-d<

25、;c)+a20+a21xt-1+a2qxt-q+e2tI(xt-d³c) =a10+a11xt-1+a1pxt-pI(xt-d<c)+a20+a21xt-1+a2qxt-qI(xt-d³c)+e1t I(xt-d<c)+e2tI(xt-d³c). (2.19)對(duì)此模型計(jì)算xt的條件均值和方差,即(2.1)(2.2)式, 并不難, 其條件均值是:Ext|xt-1,xt-2,=a10+a11xt-1+a1pxt-pI(xt-d<c)+a20+a21xt-1+a2qxt-qI(xt-d³c).但是, 條件方差有異樣, 我們只給出它的計(jì)算過程如

26、下:varxt|xt-1,xt-2, (用前一式)=Ee1tI(xt-d<c)+e2tI(xt-d³c)2|xt-1,xt-2,=Ee1t2I(xt-d<c)|xt-1,xt-2,+Ee2t2I(xt-d³c)|xt-1,xt-2,+2Ee1te2tI(xt-d<c)I(xt-d³c)|xt-1,= I(xt-d<c)Ee1t2|xt-1,xt-2,+I(xt-d³c)Ee2t2|xt-1,xt-2,+2I(xt-d<c)I(xt-d³c)Ee1te2t|xt-1,=s12I(xt-d<c)+s22I(xt-

27、d³c)+2I(xt-d<c)I(xt-d³c)ºS(xt-d).據(jù)此可見, (2.19)式不能寫成(2.6)式的條件異方差模型, 雖然它的條件方差不是常數(shù)!進(jìn)而, xt的條件分布要比(2.3)式更復(fù)雜, 不仿一試.由此可見, 當(dāng)e1t=e2t=et時(shí), 上式變成xt=a10+a11xt-1+a1pxt-pI(xt-d<c)+a20+a21xt-1+a2qxt-qI(xt-d³c) +et , =a10+a11xt-1+a1pxt-p+(a20+a21xt-1+a2qxt-q)-(a10+a11xt-1+a1pxt-p)I(xt-d³

28、;c) +et , (2.20)此式表明, 它屬于函數(shù)后的線性自回歸模型. 由(2.20)式不難寫出(2.11)式中的fk(.)函數(shù)(k=1,2,p), 注意它們都不是連續(xù)函數(shù). 但是, 在實(shí)際應(yīng)用中發(fā)現(xiàn), (2.19)式中的兩個(gè)殘差項(xiàng)很少相同. 在此情況下, (2.19)式屬于上述提到的哪一類呢? 易見, 它有條件異方差特性, 但是, 它又不像(2.15)或(2.16)式的任何一類. 事實(shí)上它屬于下面的多噪聲驅(qū)動(dòng)的性自回歸模型.多噪聲驅(qū)動(dòng)的自回歸模型:xt=j(xt-1,xt-2,xt-p)+S1(xt-1,xt-2,xt-q)e1t + S2(xt-1,xt-2,xt-q)e2t, t=1

29、,2, (2.21)其中e1t和e2te1t=Ee1t=0, Ee1t2=s12, Ee2t2=s22. 為了統(tǒng)計(jì)建模方便, 常假定它們有正態(tài)分布. 讀者不難看出(2.19)式中的j(xt-1,xt-2,xt-p), S1(xt-1,xt-2,xt-q)和 S2(xt-1,xt-2,xt-q)的具體表達(dá)式. 仿照對(duì)(2.19)式的條件均值和方差的討論, 不難討論(2.21)式的條件均值和方差, 不仿一試.雖然還可寫出比(2.21)式更廣的形式, 那不是我們所關(guān)心的內(nèi)容. 這里順便指出,稱e1t和e2t為驅(qū)動(dòng)噪聲, 它們都是白噪聲序列, 而且是不可觀測(cè)的. 因此, 這樣的模型可稱為自激系統(tǒng). 此

30、類模型亦可借助于馬爾可夫鏈的工具加以研究.(總結(jié)兩要點(diǎn): 非線性的復(fù)雜性與實(shí)用性)4. 兩種可逆性 (1). 對(duì)嚴(yán)平穩(wěn)序列xt而言, 稱它對(duì)新息序列et (et定義見(2.2)式)是可逆的, 如果Ftx=Fte, 對(duì)每個(gè)t成立， (2.22)其中Ftx和Fte的定義:Ftx=sxs ; s£t, Fte=ses ; s£t,顯然, xtÎFte. (2). 平穩(wěn)序列xt對(duì)時(shí)間是可逆的, 如果xt與x-t有相同概率分布結(jié)構(gòu)。例如, (x3, x5, x9) 和 (x-3, x-5, x-9) 的分布相同。 (3). 以上兩種可逆性概念, 有著本質(zhì)區(qū)別, 現(xiàn)在先指出:

31、若et如果xt為正態(tài)平穩(wěn)序列, 它具有兩種可逆性, 但不是顯而易見的. (4). 正反向模型的差異具有第二種是時(shí)間倒向可逆性時(shí), 此平穩(wěn)序列的正向與倒向的概率結(jié)構(gòu)是一樣的。不言而喻，具有這種可逆性的平穩(wěn)序列不是普遍存在的。人們自然要問, 不具有這種可逆性的平穩(wěn)序列，其正向與倒向的概率結(jié)構(gòu)是怎樣的呢?它們有什么聯(lián)系呢？這些內(nèi)容可有使用價(jià)值嗎？這些也正是我們所共同面對(duì)的問題。目前尚無答案, 甚至于還未被較多的人所意識(shí)到。從宏觀上看，自然界的現(xiàn)象都不是嚴(yán)格可逆的, 所以, 對(duì)它們的觀測(cè)數(shù)據(jù)序列也不會(huì)具有倒向的可逆性。嚴(yán)格地說,也很難具有平穩(wěn)性。從統(tǒng)計(jì)學(xué)觀點(diǎn)看,對(duì)以上問題都有興趣, 所取得的有價(jià)值的結(jié)

32、論, 都有可能為統(tǒng)計(jì)學(xué)提供新的理論和方法, 用于對(duì)觀測(cè)數(shù)據(jù)序列的分析，以揭示自然界現(xiàn)象所具有的更深?yuàn)W的屬性。在此，我們僅考查幾個(gè)簡(jiǎn)單例子，或許能給我們某些啟示。例1. 考查如下的模型： xt=0.5xt-1+et, (2.23)其中etP(et=0) =P(et=0.5)=1/2. 這幾乎是不能再簡(jiǎn)單的線性自回歸模型了。按照(1.10)式可知它有平穩(wěn)解, 而且被表達(dá)為 xt=åk=0¥0.5ket-k. (2.24)注意, 在上式中的et, 并不是零均值的, 這并非本質(zhì), 我們只是提醒一下。你能想象到此平穩(wěn)序列xt的倒向概率結(jié)構(gòu)是怎樣的嗎？很容易驗(yàn)證，它們是： x-t=f(

33、x-t+1), (2.25)其中 f(x)= 注意, xt的倒向結(jié)構(gòu)是純確定性的! 全無隨機(jī)性! 易見f(x)可寫作 f(x)=2xmod(1). (2.26)再記yt=x-t, 依(5.22)式知: yt=f(yt-1). 由此看來我們可以考慮如下的迭代系統(tǒng): (2.27)由此式和任給的初始y0, 就唯一確定了全序列yk: k=0,1,2,. 如前一樣, 我們也問它的倒向結(jié)構(gòu)是怎樣的呢？此時(shí)回答這一問題,不如前面那樣簡(jiǎn)單。因?yàn)? 當(dāng)已知yt時(shí), 并不能知道yt-1取何值。 由(2.26)式知, f(x)不是一對(duì)一的變換。 又易見, 此時(shí)yt-1有兩個(gè)可能的取值都對(duì)應(yīng)著同一yt. 如果我們考慮

34、一個(gè)二項(xiàng)分布的隨機(jī)變量et, 并用它的試驗(yàn)結(jié)果來決定yt-1取哪個(gè)值, 我們豈不是得到了與(2.23)式相似的模型嗎? 即 yt-1=0.5yt+et, (2.28)其中etP(et=0) =p, P(et=0.5)=1-p.只有當(dāng)p=1/2時(shí), 模型(2.28)式才與(2.24)式相一致。于是人們會(huì)發(fā)問: 序列 yk: k=0,1,2,的反向結(jié)構(gòu)能唯一確定嗎?回答是肯定的, 至少對(duì)上述情況是如此。 回答這一問題, 要涉及非線性變換的不變測(cè)度(或分布)。 考慮 (2.29)其中Fx(.)是0,1上的概率分布(也是測(cè)度)。 對(duì)每個(gè)分布Fx(.), 由(2.28)式都確定一個(gè)y=f(x)的分布Fy

35、(.)。 當(dāng)Fy(.)=Fx(.)時(shí), 稱這樣的分布為不變分布。 這樣的分布不一定是唯一的。 關(guān)于此類分布的存在性, 唯一性等問題, 是泛函分析討論的內(nèi)容。 這里只提一個(gè)與本文有關(guān)的結(jié)果,即y=f(x)的不變分布中, 與勒貝格測(cè)度絕對(duì)連續(xù)的只有一個(gè)。 對(duì)(2.28)式而言, 這樣的不變分布恰是0,1上的均勻分布。不難看出, 只有在(2.28)式中取p=1/2時(shí), 其不變分布才是0,1上的均勻分布。這樣就可以在多個(gè)反向模型中, 確定唯一的特殊者, 它在理論和應(yīng)用中都具有特殊地位。yn+1=f(yn) , n=1, 2, . (2.29) y0D=(0, 1) f(y) = 2y, 當(dāng)0<y

36、<1/2; = 2y-1, 當(dāng)1/2<y<1. f(y)yn+1 ynyn yn 最后, 我們總結(jié)以上結(jié)果如下: 滿足(2.23)式的xt序列是: 向前看(正向) 向后看(倒向)隨機(jī)的數(shù)序列 - 確定性的數(shù)序列線性隨機(jī)模型 - 非線性確定差分方程不可確切預(yù)報(bào) - 可確切預(yù)報(bào)以上的例子并不少見，再看一個(gè)。以上考慮的模型, 都是取值有界的, 下面考慮一個(gè)無界的例子。為了敘述方便, 我們僅限于離散取值的情況。 相應(yīng)的連續(xù)的例子可在安和陳的書（1998）中找到。 例2. (3X+1問題)。 考慮如下迭代系統(tǒng):xt= x0Î1,2, t=1,2, (2.30) 注意, 上式中

37、的xt: t=0,1,2,是只取正整數(shù)的序列。顯然, 這樣的序列被x0的取值唯一確定。當(dāng)然, 我們還是要問它的反向結(jié)構(gòu)是什么? 在討論此問題之前, 先看一看它的正向序列的結(jié)構(gòu)是什么, 這可能更有意思。大約在七十多年前, 多位學(xué)者猜想: 無論x0取何正整數(shù)值, 由(2.30)式迭代得到的序列xt: t=0,1,2,其中總包含1, 從而也包含4和2. 換句話說, (2.30)式迭代系統(tǒng)只有一個(gè)極限環(huán)1,4,2, 而且無發(fā)散現(xiàn)象。 迄今為止, 對(duì)此猜想無任何實(shí)質(zhì)性的研究成果。 或許人們更想知道它的反向序列的結(jié)構(gòu)是什么。 事實(shí)上, 容易驗(yàn)明其反向序列滿足以下非可加噪聲的非線性自回歸模型: 記yt=x-

38、t, 則有yt=y(yt-1, et), (2.31)其中etP(et =0)=p, P(et =1)=1-p, (0<p<1)以及 y(y, e)=e(y-1)/3+2(1-e)yI(ymod(6)=4)+2yI(ymod(6)¹4).容易驗(yàn)證, 由(2.31)式迭代得到的序列yt: t=0,1,2, 是一個(gè)發(fā)散的馬氏鏈, 或者說, 無窮遠(yuǎn)點(diǎn)是它的吸收壁。 可見這對(duì)討論前面的猜想沒有任何幫助。 (展望: 正反向統(tǒng)計(jì)分析的理論方法) 5. 時(shí)間序列與偽隨機(jī)數(shù)(1). 三種序列類型據(jù)以上論述, 有分布規(guī)律的數(shù)據(jù)序列, 可有下面三種情類型:(i) 雙向隨機(jī); (ii) 雙向確

39、定; (iii) 單雙隨機(jī)且向確定.(2). 乘同余法的美中不足以(2.26)為例, 由它生成的數(shù)據(jù)序列 X0, X1, X2, , Xn此序列實(shí)際上被X0D=(0, 1)唯一確定. 它的統(tǒng)計(jì)特征被它的經(jīng)驗(yàn)分布所描述,即 Fn(x)=(1/n) åk=1n I(Xk<x).人們關(guān)心Fn(x)的極限性質(zhì). 希望它收斂到(2.26)式的不變分布-(0,1)上的均勻分布-U(x). 很遺憾, 此要求并不是總能被滿足. 具體情況如下:當(dāng)X0N0, Fn(x)不收斂;當(dāng)X0N1, Fn(x)收斂, 但是, 極限并非U(x);當(dāng)X0N2, Fn(x) 收斂于U(x);不過, N0, N1,

40、 N2的Lebesgue測(cè)度分別為 m( N0)=m( N1)=0, m( N2)=1.但是, 所有的有理數(shù)都在N1中! 此外還有幾個(gè)有趣的事實(shí)：(i). 在N0, N1中舉例，十分容易；(ii). 在N2中舉例，十分困難，類似尋于找一個(gè)哈密爾頓圖；(iii). 根據(jù)以上結(jié)果：m( N2)=1，易見，如果x N2則x的尾部中的各數(shù)碼出現(xiàn)的概率相等；(iv). 舉一x N1，且尾部中的各數(shù)碼出現(xiàn)的概率相等，十分容易；(v). 若問任何0<x<1中的一無理數(shù)(如1/)的尾部中的各數(shù)碼出現(xiàn)概率是否相等，無法回答。(vi). 在模擬應(yīng)用中, 有不足之時(shí).(3). 一種新的偽隨機(jī)數(shù)生成法 在

41、(2.29)式中, 取f(Xn+1)=(3/2)Xn+(1/4), 當(dāng)0£Xn<1/2; =(1/2)Xn(1/4), 當(dāng)1/2<Xn£1. (2.32) 用(2.32)式生成的偽隨機(jī)數(shù)列: X0, X1, Xn, 對(duì)每個(gè)X0D=(0, 1), 都有 limn®¥Fn(x)=F(x), 其中F(x)是不變分布: F(x)=log(x+0.5)+log2/log3, 0£X£1.換句話說, 此時(shí)的N0=N1=空集! (證明可見書P272)(展望新方法)第三章. 馬爾可夫鏈-描述AR模型的特性1. 馬爾可夫鏈 時(shí)間序列xt;

42、t=1,2, 其實(shí)就是一個(gè)隨機(jī)變量序列, 也簡(jiǎn)稱隨機(jī)序列. 與隨機(jī)過程x(t); t=Î(0,¥)相比, 它只在離散時(shí)間處取隨機(jī)變量值的過程, 故此得名. 隨機(jī)過程的類型很多, 研究的方法很多, 取得的成果也很多. 其中最重要的是馬爾可夫過程, 當(dāng)它是隨機(jī)序列時(shí), 就稱為馬爾可夫鏈. 初次接觸此類過程時(shí), 為了便于理解其本質(zhì)特征, 先了解馬爾可夫鏈為宜, 即xt; t=1,2,為一馬爾可夫鏈. 為了更易于理解實(shí)質(zhì)性概念, 又不妨考慮xt只取兩個(gè)可能值的最簡(jiǎn)單情況. 以下就從一個(gè)示意性的例子說起. 一個(gè)例子: 甲乙二人進(jìn)行賭博, 每局分主(莊家)客方, 第一局的主客方由二人協(xié)

43、商確定, 以后個(gè)局, 由前一局的取勝者擔(dān)任(每局必分勝負(fù))主方. 記xt=1表示在第t局時(shí)由甲任主方; xt=2表示在第t局時(shí)由乙任主方. 于是x1, x2, 就是一個(gè)時(shí)間序列. 雖然它們只取1和2兩個(gè)可能值, 但是不能預(yù)先知道它們的確切取值, 所以這是一個(gè)隨機(jī)序列. 我們先用直觀分析方法考查此例的特征. 如果此賭博含有技巧因素, 那么他們坐莊的多少與他們的水平有關(guān). 以t表示當(dāng)前局, 那末, xt的取值已定. 比如xt=1時(shí), 意味著甲坐莊, 此時(shí)不能預(yù)知xt+1=1還是2. 如果xt+1=1意味著甲繼續(xù)坐莊, 如果xt+1=2意味著甲丟掉莊家. 雖然我們不能預(yù)知xt+1的取值, 但是我們關(guān)

44、心甲有多大把握繼續(xù)坐莊. 重復(fù)上面的敘述, 當(dāng)xt=2時(shí), 我們關(guān)心甲有多大把握上莊.在以上分析中, 我們忽略了x1, x2, , xt-1的已知取值信息, 在已知x1,x2, , xt-1 , xt時(shí), 回答前面所關(guān)心的兩個(gè)問題, 只與xt的取值有關(guān). 這一特征是被馬爾可夫首先注意到, 并將此類隨機(jī)過程定名為馬爾可夫過程. 當(dāng)此過程為序列時(shí), 稱為馬爾可夫鏈. 現(xiàn)在將以上的問題和馬爾可夫特性給出概率論描述如下:P(xt+1=1ôxt=1)=? P(xt+1=1ôxt=2)=?P(xt+1=1ôxt, xt-1, , x1)=P(xt+1=1ôxt),基

45、于這幾個(gè)啟發(fā)性的記號(hào), 我們給出此例子全部概率論描述如下: P(xt+1=kôxt=j, xt-1=jt-1, , x1=j1)=P(xt+1=kôxt=j), (3.1)如果在上式中的P(xt+1=kôxt=j)與t無關(guān)(詳見后文), 可記P(xt+1=kôxt=j)=pjk, j, k=1,2. (3.2)稱pjk為從狀態(tài)j向狀態(tài)k的轉(zhuǎn)移概率. 注意, 此時(shí)只有兩個(gè)可能狀態(tài)(對(duì)應(yīng)于xt=1或2), 于是易見 pj1+ pj2=1, 即 pj2=1- pj1, 對(duì)于j=1和2成立. (3.3)再將這些記號(hào)概括到如下的矩陣中, 即P= (3.4)稱P稱為

46、馬爾可夫鏈xt的一步轉(zhuǎn)移概率矩陣, 也簡(jiǎn)稱為轉(zhuǎn)移矩陣. 又因(3.3)式成立, 故可簡(jiǎn)化記為p11=p, p22=q, 這非關(guān)緊要, 不過, p11恰好表示甲繼續(xù)坐莊的概率(相當(dāng)于把握的大小), p22恰好表示甲繼續(xù)不坐莊的概率. 經(jīng)馬爾可夫和后來人的不斷研究表明, 在以上例子中, 轉(zhuǎn)移矩陣P能刻畫出馬爾可夫鏈xt的全部概率特征. 這一斷言不僅對(duì)此例成立, 對(duì)更廣泛的馬爾可夫過程也適用. 回顧前文曾言道, 在隨機(jī)過程中最重要的一類是馬爾可夫過程. 其內(nèi)容豐富可想而知. 在本講義中, 我們只想利用馬爾可夫鏈的概率工具, 希望盡可能少地涉及馬爾可夫過程的深層理論知識(shí). 為此, 我們將馬爾可夫過程理

47、論分為的四大類, 概括在如下的一攔表中, 據(jù)此可明確我們將關(guān)心哪一類. 當(dāng)然, 我們也只關(guān)心此類中的局部?jī)?nèi)容(見后文便知). 為列此表, 只須知道, 在馬爾可夫過程xt, 時(shí)間t有連續(xù)和離散之區(qū)分; xt的取值(又稱為狀態(tài))也有連續(xù)和離散之區(qū)分. 在上述例子中, 就是離散型, 而且是兩狀態(tài)的, 這是有限狀態(tài)馬爾可夫鏈的最簡(jiǎn)單的情況. 有了這點(diǎn)預(yù)備知識(shí)就可列出下表:馬爾可夫過程分類表 狀態(tài)時(shí)間離散連續(xù)離散 離散狀態(tài)馬爾可夫鏈連續(xù)狀態(tài)馬爾可夫鏈連續(xù)馬爾可夫跳過程馬爾可夫過程有趣的是, 此表中的四部分的研究歷程不同, 其先后次序是離散狀態(tài)馬爾可夫鏈®馬爾可夫過程®馬爾可夫跳過程&

48、#174;連續(xù)狀態(tài)馬爾可夫鏈(1975年)我們關(guān)心的連續(xù)狀態(tài)馬爾可夫鏈, 是較近代的內(nèi)容. 此內(nèi)容恰好是近代非時(shí)間序列分析盼望已久的理論基礎(chǔ). 在以下的各節(jié)中, 我們將只介紹連續(xù)狀態(tài)馬爾可夫鏈的定義和特性, 對(duì)其它部分將不涉及. 連續(xù)狀態(tài)馬爾可夫鏈的定義: 若隨機(jī)序列xt; t=1,2,具有以下性質(zhì), 則稱它為連續(xù)狀態(tài)馬爾可夫鏈,P(xt+1<xôxt, xt-1, , x1)=P(xt+1<xôxt). (3.5)上式表明: 在給定xt, xt-1, , x1時(shí), xt+1的條件分布, 與給定xt時(shí)xt+1的條件分布相等. 此條件分布可記為Ft+1(x|xt)

49、, 在給定xt時(shí), Ft+1(x|xt)是一個(gè)分布函數(shù); 不過, 它會(huì)隨著xt的取值不同而不同. 注意, 若序列xt是滿足(3.5)式的馬爾可夫鏈, 而且E|xt|存在, 那么,Ext+1ôxt, xt-1, , x1=òx d P(xt+1<xôxt, xt-1, , x1)=òx d P(xt+1<xôxt)= òx d F t+1(xôxt)= Ext+1ôxt .此式很像AR(1)模型的性質(zhì), 但是, (3.5)式與上式并無次序關(guān)系, 而且, 也不能簡(jiǎn)單地推廣到AR(P)的情況.在非線性時(shí)間序列

50、模型討論中, 還須要用到多元馬爾可夫鏈, 即Xt中的Xt=( Xt1, Xt2, Xtm)t是隨機(jī)向量. 以上定義不難推廣到向量的情況.向量馬爾可夫鏈的定義: 若隨機(jī)序列Xt; t=1,2,具有以下性質(zhì), Xt=( Xt1, Xt2, Xtm)t是隨機(jī)向量, 而且 P(Xt+1ÎA ôXt, Xt-1, , X1)=P(Xt+1ÎA ôXt). (3.6)在(3.6)式中的A, 是m維歐氏空間的可測(cè)集合.其實(shí), 向量馬爾可夫鏈的定義蘊(yùn)涵了馬爾可夫鏈的定義, 我們分先后介紹, 只是為了便于理解. 在后文中不再區(qū)分向量與非向量,一律用馬爾可夫鏈稱之, 它們的

51、維數(shù)會(huì)不言自明的. 有了上述定義, 我們的目的是介紹馬爾可夫鏈的平穩(wěn)性條件的定理, 為達(dá)到此目標(biāo), 還有幾個(gè)概念不可缺少. 這里還要指出, 在上面的定義和即將敘述的概念中, 嚴(yán)格地說,都要用到測(cè)度論的術(shù)語, 而我們回避了它們, 因?yàn)槲覀冎皇菫榱耸褂眠@些概念, 而不是研究它們. 在后文中將看到, 這并不影響使用這些概念來解決非線性自回歸模型的平穩(wěn)性等問題. 齊時(shí)馬爾可夫鏈: 如果馬爾可夫鏈xt(一元的或多元的)滿足P(x, A)=P(xt+1ÎAôxt=x), k=1,2, (3.7)與時(shí)刻t無關(guān), 稱xt為齊時(shí)馬爾可夫鏈. 再記 Pk(x, A)=P(xt+kÎA

52、ôxt=x), k=1,2, (3.8)表示在當(dāng)前時(shí)刻t處在xt=x, 經(jīng)過k步后的xt+k落入A的概率, 簡(jiǎn)稱為k步轉(zhuǎn)移概率. 顯然, 依(3.7)式知P1(x, A)=P(xt+1ÎAôxt=x)= P(x, A).又易見P2(x, A)=P(x2ÎAôx0=x)=òP(y, A)P(x, dy). (3.9)此式表明, 兩步轉(zhuǎn)移概率P2(x, A), 可寫成從x0=x先用一步轉(zhuǎn)移到y(tǒng), 再從x1=y轉(zhuǎn)移到A的概率的平均. 其平均是指按一步轉(zhuǎn)移概率分布完成, 以一元為例, P1(x, (-¥,y)= P(x, (-

53、65;,y), P(x, dy)=dP(x, (-¥,y).重復(fù)上面的推理可得Pk(x, A)=P(xkÎAôx0=x)=òPk-1(y, A)P(x, dy), k=2,3, (3.10)馬爾可夫鏈的不可約性: 如果馬爾可夫鏈xt滿足åk=1¥Pk(x, A)>0, (3.11)其中x是m(³1)維歐氏空間Rm的任意一點(diǎn), A是m(³1)維歐氏空間的任意一個(gè)有正測(cè)度的可測(cè)集合, 這里的測(cè)度不妨用Lebesgue測(cè)度, 在本講義中已是夠用了.現(xiàn)在對(duì)不可約概念作些直觀解釋. 先從(3.11)式的定義可看出, 從Rm中的任何一點(diǎn)出發(fā), 對(duì)任何指定的正測(cè)度集合A, 在有限步轉(zhuǎn)移到A的概率是正的. 換句話說, 不存在那樣的點(diǎn)x和正測(cè)度集合A, 從x出發(fā)永遠(yuǎn)不能達(dá)到A. 更直觀解釋可借助前邊的例子, 考慮甲對(duì)乙, 丙對(duì)丁同來賭博, 但是只有一個(gè)臺(tái)面可用, 于是, 他們先要用抽簽決定哪一對(duì)先賭. 我們記xt=1表示在第t局時(shí)由甲坐莊; xt=2表示在第t局時(shí)由乙坐莊. 記xt=3