第三章

理論極限與基本途徑

課前回顧文氏圖中，各種熵之間的關(guān)系？兩圓互相離開，條件熵增大，相關(guān)性減弱。X、Y信源相互獨立時課前回顧兩圓互相重合，條件熵為零，聯(lián)合熵等于單個信源的熵。X、Y信源完全相關(guān)時課前回顧1離散無記憶信源2聯(lián)合信源3隨機序列

4率失真理論本章內(nèi)容3.3隨機序列有記憶信源：源字X的各分量不是互相獨立的

極限熵把n個信源符號當作一個n維隨機矢量X，其聯(lián)合概率為P(X),熵為：平均符號熵為:(3.3.1)(3.3.2)若把前n-1個符號作為條件,則可求得最后一個符號Xn的熵為:信息論中已證明：對于離散平穩(wěn)信源X，如果它的H(X1)<∞,下述結(jié)論成立:與均為隨n增大而單調(diào)不增函數(shù);①當n增大(考慮更多的元素互相依從關(guān)系)時,熵值將會進一步降低;為極限熵或極限信息量,用H∞表示③(3.3.4)②(3.3.3)

基本途徑之三—利用條件概率數(shù)據(jù)壓縮的途徑之三

對于離散有記憶平穩(wěn)信源，

1)理論上，可通過它的條件概率計算極限熵；

2)實踐中，可利用條件概率進行編碼，階越高越有利。數(shù)據(jù)壓縮的途徑之三

對于離散平穩(wěn)信源，

1)理論上，可通過它的條件概率計算極限熵；

2)實踐中，可利用條件概率進行編碼，階越高越有利。任意兩個不同時刻，信源發(fā)出的符號的概率分布完全相同，與時間起點無關(guān)H∞的計算極其困難

假定信源平穩(wěn);

測得n足夠大的條件概率以近似計算H∞;

假定信源的記憶有限。Xp只與其前面M個符號Xp-1,

Xp-2,…,

Xp-M有關(guān)M階Markov鏈：表示這M+1個符號(Xp-M,

Xp-M+1,,

Xp-1,Xp)組成的序列。M=1→

一階Markov鏈P(Xp|Xp-1,

Xp-2,Xp-3,,

Xp-M)=P(Xp|Xp-1)P(X)=P(X1)P(X2|X1)P(X3|X2)P(Xn|Xn-1)M→

M階Markov鏈P(Xp|Xp-1,

Xp-2,Xp-3,,

Xp-M)P(X)=P(X1)P(X2|X1)P(X3|X2,X1)P(Xn|Xn-1,X

n-2,,Xn-M)得到平均符號熵HM+1M=1→2階條件熵H2H(X|Y)

和

H(Y|X)M=0→1階熵H1

(信源無記憶)H(X)0階熵H0(信源的最大離散熵)簡化:信源等概率分布,有m種取值H0=logm=R對于一般平穩(wěn)信源，有：有時只能得到H1，甚至H0，傳輸更浪費。只能計算HM，只好用傳送HM的手段，傳輸不經(jīng)濟。實際符號熵是H∞，理論上只要傳送H∞的手段即可。未能完全掌握其概率分布（3.3-5）對于PCM編碼的數(shù)據(jù),其無失真壓縮的理論極限為:(3.3-6)等長的PCM編碼:傳送

H0測得各符號出現(xiàn)的概率,并按無記憶信源考慮的統(tǒng)計編碼傳送

H1,獲得信息變差

I01=H0-H1

(統(tǒng)計了信源概率后獲得的信息)進一步考慮利用前一取樣值進行預測(DPCM)傳送H2,獲得信息變差I(lǐng)02=H0–H2若利用前M-1個取樣值進行預測傳送HM,獲得信息變差I(lǐng)0M=H0-HM表3.18幅典型黑白電視圖象的實測熵值序號圖像內(nèi)容H(X0)H(X0|X1)H(X0|X2)H(X0|X5,X1)H(X0|X1,X2)1戴胸花的女郎6.41454.04404.08243.26613.25472雙人6.22003.98483.83972.95832.96983教授7.21003.64563.53954男孩與玩具7.13255.02684.79785戴草帽的婦女7.00304.58824.32756船7.03844.93804.86522.70252.66777水池7.35695.19145.41128分辨率測試卡6.94125.43865.4716熵值計算時所選的相鄰像素位置關(guān)系X2X1X0X3X1X5X2X4X0圖像1~2:美國電影電視工程師協(xié)會(SMPTE)測試圖像圖像3~8:歐洲廣播聯(lián)盟(EBU