1、問題背景條件概率太多的條件，計(jì)算上面臨困難完全獨(dú)立不能反映事物之間的關(guān)聯(lián)關(guān)系有限記憶性 馬爾科夫！馬爾可夫 俄國 18561922在概率論方面發(fā)展了其老師切比雪夫的矩方法，使中心極限定理的證明成為可能。推廣了大數(shù)定律和中心極限定理的應(yīng)用范圍。在數(shù)理統(tǒng)計(jì)方面引入了等價(jià)互不相容概念和有效性統(tǒng)計(jì)原理。馬爾可夫 隨機(jī)過程創(chuàng)始人在隨機(jī)過程方面開創(chuàng)了用數(shù)學(xué)分析方法研究自然過程的一般模式（1906），這種模式后人即以他的姓氏命名為馬爾可夫鏈。開創(chuàng)了一種無后效性隨機(jī)過程的研究，即馬爾可夫過程。馬爾可夫鏈、過程第14講：北京航空航天大學(xué)主講人：張有光電話：82314978，F(xiàn)806一、馬爾可夫鏈1、馬爾可夫鏈定

2、義 2、馬爾可夫鏈轉(zhuǎn)移概率3、馬爾可夫鏈轉(zhuǎn)移概率性質(zhì)4、齊次馬爾可夫鏈1、馬爾可夫鏈定義 設(shè) 為一隨機(jī)序列，其狀態(tài)空間 ，對(duì)任一 （ N一般包含有限或者可列無窮個(gè)非負(fù)整數(shù) ) ，有則稱為馬爾可夫鏈。直觀意義舉例家族消失問題高爾頓、瓦特森曾研究，斯蒂芬森給出了完整解基因突變知道群體的現(xiàn)在，群體的將來與過去無關(guān)郵遞員模型：處理狀態(tài)機(jī)一類問題信源序列：馬爾科夫信源2、馬爾可夫鏈轉(zhuǎn)移概率引入轉(zhuǎn)移概率： 表示已知在時(shí)刻 m 系統(tǒng)處于狀態(tài) ，或說 取值 的條件下，經(jīng) ( n-m ) 步轉(zhuǎn)移到狀態(tài) 的概率，也可理解為已知在時(shí)刻 m 系統(tǒng)處于狀態(tài) i 的條件下，在時(shí)刻 n系統(tǒng)處于狀態(tài) j 的條件概率。3、轉(zhuǎn)移

3、概率的性質(zhì)3、轉(zhuǎn)移概率性質(zhì)3、轉(zhuǎn)移概率性質(zhì)k步3、轉(zhuǎn)移概率的性質(zhì)矩陣表示4、齊次馬爾可夫鏈5、馬爾可夫鏈有限狀態(tài)馬爾可夫鏈可數(shù)無窮狀態(tài)的馬爾可夫鏈二、切普曼科爾莫戈羅夫方程1、CK方程2、齊次馬爾可夫鏈CK方程3、CK方程的矩陣表示4、馬爾可夫鏈定理1、CK方程說明: 若過程開始位于狀態(tài)i，經(jīng)過（m+r）步后轉(zhuǎn)移到狀態(tài)j，必須經(jīng)過m步從狀態(tài)i轉(zhuǎn)移到中間狀態(tài)k，再從中間狀態(tài)k經(jīng)余下的r步轉(zhuǎn)移到狀態(tài)j。證明2、齊次馬爾可夫鏈CK方程用一步轉(zhuǎn)移概率表達(dá)多步轉(zhuǎn)移概率。3、CK方程的矩陣表示4、馬爾可夫鏈定理馬爾可夫鏈由初始分布和一步轉(zhuǎn)移概率決定。三、馬爾可夫鏈舉例1、貝努里試驗(yàn)2、例23、例34、無限

4、制隨機(jī)游走5、帶兩個(gè)反射壁6、帶兩個(gè)吸收壁7、艾倫費(fèi)斯特模型1、貝努里試驗(yàn)2、馬爾可夫鏈例23、馬爾可夫鏈3證明：4、無限制隨機(jī)游走一個(gè)質(zhì)點(diǎn)在直線上做隨機(jī)游走，如果在某一時(shí)刻質(zhì)點(diǎn)位于i，則下一步質(zhì)點(diǎn)將以概率p(0p1) 向前游走一步到達(dá)i+1處，或以概率q(p+q=1)向后游走一步到達(dá)i-1處，現(xiàn)規(guī)定，這一質(zhì)點(diǎn)只能“向前”或“向后”游走一步，并且經(jīng)過一個(gè)單位時(shí)間它必須游走。如果以 表示n時(shí)刻質(zhì)點(diǎn)的位置，則 是一個(gè)隨機(jī)過程。并且當(dāng) 時(shí)， 等在時(shí)刻n后質(zhì)點(diǎn)所處的狀態(tài)僅與 有關(guān)，而與時(shí)刻n以前的狀態(tài)無關(guān)，故它是一個(gè)齊次馬爾可夫鏈。隨機(jī)游走轉(zhuǎn)移概率矩陣一步轉(zhuǎn)移概率n步轉(zhuǎn)移概率5、帶有兩個(gè)反射壁的隨機(jī)游

5、走考慮一個(gè)質(zhì)點(diǎn)在直線段上作隨機(jī)游走，直線段的兩個(gè)終端為反射壁，此隨機(jī)游走所取得的狀態(tài)空間為 I= 0 , 1 , 2 , , c 。其中0狀態(tài)和 c 狀態(tài)均為反射態(tài)。一旦質(zhì)點(diǎn)進(jìn)入0狀態(tài)，則下一步必以概率1向前游走一步，進(jìn)入 c 狀態(tài)，必以概率1向后游走一步，其余各點(diǎn)與上題同。轉(zhuǎn)移概率矩陣6、帶有兩個(gè)吸收壁的隨機(jī)游走 考慮一個(gè)質(zhì)點(diǎn)在直線段上作隨機(jī)游走，此隨機(jī)游走所取得的狀態(tài)空間為 I = 0 , 1 , 2 , , c 。其中0狀態(tài)和 c 狀態(tài)均為吸收態(tài)。一旦質(zhì)點(diǎn)進(jìn)入 0 狀態(tài)或 c 狀態(tài)，則會(huì)被吸收，即質(zhì)點(diǎn)不會(huì)再做任何的游走。其余各點(diǎn)與上題同。 （有限賭資的輸光問題）轉(zhuǎn)移概率矩陣7、艾倫費(fèi)斯特

6、模型該模型可以用一個(gè)模型來說明。設(shè)一個(gè)壇中裝有c個(gè)球，它們或是紅色的，或者黑色的。隨機(jī)地從壇子中取出一個(gè)球，并換以另一個(gè)顏色的球放回壇中。經(jīng)過n次摸換，研究壇中的黑球數(shù)。7、艾倫費(fèi)斯特模型四、馬爾可夫序列1、馬爾可夫序列 基本定義2、齊次性與平穩(wěn)性3、馬爾可夫序列的性質(zhì)1、基本定義一個(gè)隨機(jī)變量序列Xn，若對(duì)任意的n2、馬爾可夫序列的齊次性平穩(wěn)性3、馬爾可夫序列性質(zhì)馬爾可夫序列的子序列也是馬爾可夫序列。馬爾可夫序列的逆也是馬爾可夫序列已知現(xiàn)在，過去與未來相互獨(dú)立馬爾可夫過程分類馬爾可夫鏈時(shí)間離散、狀態(tài)離散馬爾可夫序列時(shí)間離散、狀態(tài)連續(xù)馬爾可夫過程連續(xù)時(shí)間參數(shù)，可分為狀態(tài)離散和狀態(tài)連續(xù)的馬爾可夫過

7、程三、馬爾可夫過程1、馬爾可夫過程定義2、馬爾可夫過程特性3、切普曼-柯爾莫哥洛夫方程4、相關(guān)例題1、馬爾可夫過程定義設(shè) 為一隨機(jī)過程，若對(duì)任一 n 和對(duì)于 T 中的 有則稱此過程為馬爾可夫過程。問題：與其他定義的區(qū)別？1、馬爾可夫過程定義一階馬爾可夫過程可以看成是白噪聲過程（完全獨(dú)立）的簡單推廣。 Markov18561922，在1907年在有限狀態(tài)的離散參數(shù)系統(tǒng)中首次引入。 Kolmogorov1936年研究可列狀態(tài)， 我國王梓坤院士進(jìn)行了系統(tǒng)研究。2、馬爾可夫過程特性當(dāng)條件概率密度函數(shù)存在時(shí)，有此式說明若 表過去時(shí)刻，則將來時(shí)刻 的X(t)的統(tǒng)計(jì)特性僅取決于現(xiàn)在時(shí)刻 的狀態(tài)，而與過去時(shí)刻的狀態(tài)無關(guān)，這種特性稱為馬爾可夫特性，或稱無后效性。2、馬爾可夫過程特性聯(lián)合概率密度可見，馬氏過程的所有統(tǒng)計(jì)特性完全包含在它的一階和二階概率密度函數(shù)中。 2、馬爾可夫過程特性馬爾可夫過程的逆也滿足馬爾可夫性2、馬爾可夫過程特性馬爾可夫過程的子過程也是馬爾可夫過程3、切普曼-柯爾莫哥洛夫方程其意義：與馬爾可夫鏈進(jìn)行比較證明過程(序列時(shí)的證明)：4、相關(guān)例題（1）設(shè)隨機(jī)過程 由下述方程確定其中 是均值為0，方差為 的高斯隨機(jī)變量。試分析該過程的特性。例1：解