演示文稿第四章信道與信道容量第1頁，共70頁。第四章信道與信道容量第2頁，共70頁。本章節(jié)達到的目的了解信息論研究信道的目的、內(nèi)容了解信道的基本分類并掌握信道的基本描述方法掌握信道容量/信道容量代價函數(shù)的概念，以及與互信息、信道輸入概率分布、信道轉(zhuǎn)移函數(shù)的關(guān)系能夠計算簡單信道的信道容量/信道容量代價函數(shù)（對稱離散信道、無記憶加性高斯噪聲信道）了解信道容量/容量代價函數(shù)在研究通信系統(tǒng)中的作用第3頁，共70頁。概念問題熵

熵率

無失真信源編碼定理中的作用互信息

信道容量

信道編碼定理中的作用第4頁，共70頁。回顧－互信息函數(shù)的性質(zhì)1互信息與信道輸入概率分布的關(guān)系性質(zhì)1：I(X;Y)是信道輸入概率分布p(x)的上凸函數(shù).I(X;Y)p(x)第5頁，共70頁。回顧－互信息函數(shù)的性質(zhì)2

信息量與信道轉(zhuǎn)移概率分布的關(guān)系性質(zhì)2：I(X;Y)是信道轉(zhuǎn)移概率分布p(y/x)的下凹函數(shù).I(X;Y)p(y/x)第6頁，共70頁?；仡櫍バ畔⒑瘮?shù)的性質(zhì)3信息量與信道輸入符號相關(guān)性的關(guān)系

性質(zhì)3:信道的輸入是離散無記憶的,第7頁，共70頁?；仡櫍バ畔⒑瘮?shù)的性質(zhì)4

信息量與信道輸入符號相關(guān)性的關(guān)系性質(zhì)4:信道是離散無記憶的,第8頁，共70頁。回顧－互信息函數(shù)的性質(zhì)5性質(zhì)3、性質(zhì)4的推論：信道的輸入和信道本身都是離散無記憶的第9頁，共70頁。信道與信道容量概述信道的分類與描述離散無記憶信道及其容量連續(xù)信道及其容量容量代價函數(shù)C(F)

第10頁，共70頁?！?.1:概述信息論對信道研究的內(nèi)容什么是信道？信道的作用研究信道的目的第11頁，共70頁?！?.1:概述－1信息論對信道研究的內(nèi)容：信道的建模：用恰當(dāng)?shù)妮斎?輸出兩個隨機過程來描述信道容量不同條件下充分利用信道容量的各種辦法第12頁，共70頁?！?.1:概述－2什么是信道？ 信道是傳送信息的載體——信號所通過的通道。 信息是抽象的，信道則是具體的。比如：二人對話，二人間的空氣就是信道；打電話，電話線就是信道；看電視，聽收音機，收、發(fā)間的空間就是信道。第13頁，共70頁?！?.1:概述－3信道的作用 在信息系統(tǒng)中信道主要用于傳輸與存儲信息，而在通信系統(tǒng)中則主要用于傳輸。第14頁，共70頁。§5.1:概述－4

研究信道的目的實現(xiàn)信息傳輸?shù)挠行院涂煽啃杂行裕撼浞掷眯诺廊萘靠煽啃裕和ㄟ^信道編碼降低誤碼率 在通信系統(tǒng)中研究信道，主要是為了描述、度量、分析不同類型信道，計算其容量，即極限傳輸能力，并分析其特性。通信技術(shù)研究－－信號在信道中傳輸?shù)倪^程所遵循的物理規(guī)律，即傳輸特性信息論研究－－信息的傳輸問題（假定傳輸特性已知）第15頁，共70頁?！?.2:信道的分類與描述信道分類信道描述第16頁，共70頁?！?.2:信道分類與描述－1信道分類 從工程物理背景——傳輸媒介類型； 從數(shù)學(xué)描述方式——信號與干擾描述方式； 從信道本身的參數(shù)類型——恒參與變參； 從用戶類型——單用戶與多用戶；第17頁，共70頁?！?.2:信道分類與描述－2第18頁，共70頁。§4.2:信道分類與描述－3第19頁，共70頁。§4.2:信道分類與描述－4第20頁，共70頁?！?.2:信道分類與描述－5第21頁，共70頁?！?.2:信道分類與描述－6信道描述信道可以引用三組變量來描述：信道輸入概率空間：信道輸出概率空間：信道概率轉(zhuǎn)移矩陣：P即：{P}，它可簡化為：。第22頁，共70頁?！?.2:信道分類與描述－7其中：而 而第23頁，共70頁?！?.2:信道分類與描述－8當(dāng)K=1時，退化為單個消息（符號）信道；進一步當(dāng)n=m=2時，退化為二進制單個消息信道。若它滿足對稱性，即構(gòu)成最常用的二進制單消息對稱信道BSC：且,,第24頁，共70頁。§4.3:離散無記憶信道及其信道容量離散無記憶信道及其信道容量離散無記憶信道容量的計算離散無記憶信道的信道容量定理對稱的離散無記憶信道容量香農(nóng)第一定理的物理意義第25頁，共70頁。§4.3:離散無記憶信道及其信道容量-1離散消息序列信道

第26頁，共70頁?！?.3:離散無記憶信道及其信道容量-2離散無記憶信道及其信道容量

由消息序列互信息性質(zhì)對離散無記憶信道，有：（性質(zhì)4）則當(dāng)且僅當(dāng)信源(信道入)無記憶時，“等號”成立（性質(zhì)3、4推論）

第27頁，共70頁?！?.3:離散無記憶信道及其信道容量-3離散無記憶信道及其信道容量的進一步理解Cmax存在

互信息性質(zhì)1，上凸函數(shù)極值存在達到Cmax時的兩個條件：信道輸入（信源）是離散無記憶的信道輸入的概率分布是使I(X,Y)達到最大的分布C的值不是由信源的p(x)決定的，而是由p決定的C是信道作為信息傳輸通道的性能度量只有信道輸入（信源）X（x1x2…xn)滿足一定條件時，才能充分利用信道傳輸信息的能力第28頁，共70頁?！?.3:離散無記憶信道及其信道容量-4離散無記憶信道容量的計算思路：問題轉(zhuǎn)化為：有界閉區(qū)域上求約束極值方法：1、求區(qū)域內(nèi)極值

2、求邊界極值

3、求前兩者的最大值具體實現(xiàn)：1、簡單情況下求解（如單符號信道、對稱信道）2、解方程3、迭代法4、其他第29頁，共70頁。§4.3:離散無記憶信道及其信道容量-5離散無記憶信道的信道容量定理

定理5.1：對前向轉(zhuǎn)移概率矩陣為Q的離散無記憶信道，其輸入字母的概率分布p*能使互信息I(p,Q)取最大值的充要條件是

其中：

是信源字母ak傳送的平均互信息，C就是這一信道的信道容量。第30頁，共70頁?！?.3:離散無記憶信道及其信道容量-6離散無記憶信道的信道容量定理理解在這種分布下，每個概率>0的字母提供的互信息＝C，每個概率＝0的字母提供的互信息≤C當(dāng)且僅當(dāng)這種分布時，可使I(p,Q)達到最大值CI(X,Y)是I(x=ak;Y)的平均值。即：想提高I(X,Y)，可以提高p(ak)但提高p(ak)，又使I(x=ak;Y)降低反復(fù)調(diào)整p(ak)，使I(x=ak;Y)相等且都等于C此時I(X,Y)＝C定理只給出了可使I(X,Y)＝C的p(x)的充要條件，并無具體分布及C的值，但可以幫助求解簡單情況部分信道的C第31頁，共70頁。§4.3:離散無記憶信道及其信道容量-7對稱的離散無記憶信道信道容量對稱的離散無記憶信道輸出字母的集合可以劃分為若干子集，對每個子集有：矩陣中的每一行都是第一行的重排列；矩陣中的每一列都是第一列的重排列。定理5.2：對于對稱的離散無記憶信道，當(dāng)信道輸入字母為等概率分布時達到信道容量。第32頁，共70頁。§4.3:離散無記憶信道及其信道容量-8對稱信道第33頁，共70頁?！?.3:離散無記憶信道及其信道容量-9a1a2b1b2b30。70。10。10。20。7a1a2b1b2b30。20。70。70。10。10。2第34頁，共70頁?！?.3:離散無記憶信道及其信道容量-10BSC信道信道容量的計算a1a2b1b21-ε1-εεε第35頁，共70頁?！?.3:離散無記憶信道及其信道容量-11由定理5.2，當(dāng)輸入等概分布時，互信息達到信道容量即：p(a1)=p(a2)=1/2；有：

于是：

這里：應(yīng)用舉例3.2(18)、3.6(23)第36頁，共70頁?！?.3:離散無記憶信道及其信道容量-12二元刪除信道信道容量的計算a1a2b1b21-ε1-εεεb3第37頁，共70頁?！?.3:離散無記憶信道及其信道容量-13由定理5.2，當(dāng)輸入等概分布時，互信息達到信道容量即：p(a1)=p(a2)=1/2；有：

于是：

第38頁，共70頁。§4.3:離散無記憶信道及其信道容量-140.51.000.51.0cεbaCa=Cb=a:BSC信道的信道容量曲線b:二進制刪除信道的信道容量曲線第39頁，共70頁。

求對稱信道離散矩陣P的信道的容量

1/21/31/6P=1/61/21/31/31/61/2

C=logs-H(p1,p2,p3)=log3-H(1/2,1/3,1/6)=log3+1/2log1/2+1/3log1/3+1/6log1/6=1.126bit/s結(jié)果表明:只有輸入等概率分布,信道容量達到最大,平均每個符號傳輸最大信息量為1.126比特第40頁，共70頁。1無損信道一個輸入對多個互不相交的輸出,因為損失熵H(X/Y)=0故I(X,Y)=H(X)C=logrr為輸入個數(shù)2確定信道一個輸出對多個互不相交的輸入,因為噪聲熵H(Y/X)=0故I(X,Y)=H(Y)C=logss為輸出個數(shù)3無損確定信道一個輸入對一個輸出,因為損失熵H(X/Y)=0噪聲熵H(Y/X)=0

故I(X,Y)=H(X)=H(Y)C=logrr為輸入個數(shù)離散無噪信道第41頁，共70頁。§4.3:離散無記憶信道及其信道容量-15香農(nóng)第一定理（變長無失真信源編碼定理）的物理意義

（達到極限時等號成立）從信道的角度看，信道的信息傳輸率（達到極限時等號成立）

第42頁，共70頁?！?.3:離散無記憶信道及其信道容量-16香農(nóng)第一定理（變長無失真信源編碼定理）的物理意義無噪無損信道的信道容量：C=logM再看當(dāng)平均碼長達到極限值時此時信道的信息傳輸率R＝無噪信道的信道容量C無失真信源編碼的實質(zhì)：對離散信源進行適當(dāng)變換，使變換后新的碼符號信源（信道的輸入信源）盡可能為等概分布，以使新信源的每個碼符號平均所含的信息量達到最大，從而使信道的信息傳輸率R達到信道容量C，實現(xiàn)信源與信道理想的統(tǒng)計匹配。又稱：無噪信道編碼定理若信道的信息傳輸率R不大于信道容量C，總能對信源的輸出進行適當(dāng)?shù)木幋a，使得在無噪無損信道上能無差錯地以最大信息傳輸率C傳輸信息；但要使信道的信息傳輸率R大于C而無差錯地傳輸信息則是不可能的。第43頁，共70頁。§4.5:信道容量InformationsourceEncoderSXDiscreteCommunicationChannelX={x1,x2,…,xr}DecoderXSInformationreceiver第44頁，共70頁。連續(xù)信道－－模擬信道連續(xù)信道：特點1：時間離散、幅度連續(xù)特點2：每個時刻是取值連續(xù)的單個隨機變量（vs離散序列)研究方法：N個自由度的隨機變量，取研究平均在每個自由度上的C模擬信道：特點1：時間連續(xù)、幅度連續(xù)特點2：一族時間樣本函數(shù)，每個時間樣本函數(shù)都是時間、幅度取值連續(xù)的研究方法：1、限頻、限時時離散、量化為離散隨機矢量

2、為避免有記憶隨機矢量研究的困難，找到一組正交完備函數(shù)集，展開為級數(shù)，使所得到系數(shù)組成的隨機矢量相互獨立或線性無關(guān)。注意：1、限時－－頻譜無限，限頻－－時間無限。

2、認為函數(shù)在F以上或T以外取值很小，限時、限頻不會引起函數(shù)的嚴重失真第45頁，共70頁。Analogsource模擬通信系統(tǒng)SourcecodingChannelcodingAnalogchannelChanneldecodingSourcedecodingDestinationA/DconverterModulationDemodulationD/Aconverter01101…01110010…01111010…01101…第46頁，共70頁?！?.4:連續(xù)信道及其容量－1－回顧連續(xù)隨機變量的熵－微分熵（VS離散隨機變量）連續(xù)隨機變量最大熵分布－－依賴于約束條件（VS離散隨機變量）峰值功率受限條件下－－均勻分布的隨機變量具有最大微分熵平均功率受限條件下－－高斯分布的隨機變量具有最大微分熵連續(xù)信道的輸入所取的值域不足以完全表示對信道輸入的限制

還有約束條件C＝max[h(Y)-h(n)]C取決于信道的統(tǒng)計特性（加性信道即噪聲的統(tǒng)計特性）輸入隨機矢量X所受的限制條件（一般考慮平均功率受限時）C的單位為：比特/N個自由度連續(xù)信道信道容量－－容量費用函數(shù)描述第47頁，共70頁。§5.4:連續(xù)信道及其容量－2C.F吳&朱&傅－－信道容量吳：信道容量：離散信道容量、連續(xù)信道容量容量代價函數(shù)：離散信道、連續(xù)信道朱：信道容量：離散信道容量費用函數(shù)：連續(xù)信道&模擬信道傅：信道容量：離散信道容量、連續(xù)信道容量第48頁，共70頁?！?.4:連續(xù)信道及其容量－3研究連續(xù)信道容量的方法基本、簡單的信道：無記憶加性噪聲信道信道噪聲為高斯時何種分布輸入能達到對信道的充分利用信道輸入為高斯時何種分布噪聲對信道傳輸信息影響最大第49頁，共70頁?！?.4:連續(xù)信道及其容量－4一些基礎(chǔ)知識：對于加性信道Y=X+NX：信道輸入N：信道噪聲Y：信道輸出信道的轉(zhuǎn)移概率分布函數(shù)就是N的分布函數(shù)b(x)是信道輸入為x時對應(yīng)的費用如果X、Y、N中有兩個是高斯分布，另一個也是高斯分布的高斯分布的隨機變量的微分熵h(XG)＝高斯分布的連續(xù)隨機變量的微分熵h(XG)的值只與方差有關(guān)，與均值無關(guān)第50頁，共70頁。加性信道ErrorSource+EXOutputInput第51頁，共70頁。§5.5:模擬信道及其容量模擬信道下的信道容量費用函數(shù)及其計算廣義平穩(wěn)的限頻(F)、限時(T)、限功率(P)白色高斯信道及其容量C。Shannon公式Shannon公式的物理意義Shannon公式的用途第52頁，共70頁。§5.5:模擬信道及其容量－4廣義平穩(wěn)的限頻(F)、限時(T)、限功率(P)白色高斯信道及其容量C

對限頻(F)、限時(T)的連續(xù)過程信源可展成下列取樣函數(shù)序列：現(xiàn)將這2FT個樣值序列通過一個功率受限(P)的白色高斯信道并求其容量值C。第53頁，共70頁。§5.5:模擬信道及其容量－Shannon公式1Shannon公式定理5.3：滿足限頻(F)、限時(T)的廣義平穩(wěn)隨機過程信源X(t,w)，當(dāng)它通過一個功率受限(P)的白色高斯信道，其容量為：這就是著名的Shannon公式。則單位時間T=1時的容量為：第54頁，共70頁?！?.5:模擬信道及其容量－Shannon公式2證明：前面已求得單個連續(xù)消息（第k個）通過高斯信道以后的容量值為：同時，在消息序列的互信息中已證明當(dāng)信源、信道滿足無記憶時，下列結(jié)論成立：由信道容量定義，有第55頁，共70頁。§5.5:模擬信道及其容量－Shannon公式3Shannon公式的物理意義它給出了決定信道容量C的是三個信號物理參量：F、T、之間的辯證關(guān)系。三者的乘積是一個“可塑”性體積（三維）。三者間可以互換。第56頁，共70頁。§5.5:模擬信道及其容量－Shannon公式4－Shannon公式的用途一

用頻帶換取信噪比：擴頻通信原理。雷達信號設(shè)計中的線性調(diào)頻脈沖，模擬通信中，調(diào)頻優(yōu)于調(diào)幅，且頻帶越寬，抗干擾性就越強。數(shù)字通信中，偽碼(PN)直擴與時頻編碼等，帶寬越寬，擴頻增益越大，抗干擾性就越強。深空通信中（功率受能源限制，頻譜資源相對豐富），采用兩電平數(shù)字通信方式有效利用信道容量。

注意：有極限第57頁，共70頁。歸一化信道容量關(guān)于帶寬W的關(guān)系圖第58頁，共70頁。歸一化信道帶寬關(guān)于信噪比SNR的關(guān)系圖第59頁，共70頁。

－Shannon公式另一種形式：

其中，為噪聲密度，即單位帶寬的噪聲強度，σ2=N0F;

Eb

表示單位符號信號的能量，Eb=STb=S/F；

Eb/N0

稱為歸一化信噪比.也稱為能量信噪比.當(dāng)Eb/N0<<1時，

≈Eb/N0

(nat)＝(bit)結(jié)論：低信噪比時，信道容量近似地決定于能量信噪比的值第60頁，共70頁。§5.5:模擬信道及其容量－Shannon公式5－Shannon公式的用途二用信噪比換取頻帶多進制多電平多維星座調(diào)制方式的基本原理衛(wèi)星、數(shù)字微波中常采用的有：多電平調(diào)制、多相調(diào)制、高維星座調(diào)制(M-QAM)等等，它利用高質(zhì)量信道中富裕的信噪比換取頻帶，以提高傳輸有效性。第61頁，共70頁。§5.5:模擬信道及其容量－Shannon公式6Shannon公式的用途三

用時間換取信噪比重傳、弱信號累積接收基于這一原理。t=T0

為分界線。信號功率S有規(guī)律隨時間線性增長，噪聲功率σ2無規(guī)律，隨時間呈均方根增長。第62頁，共70頁?！?.5:模擬信道及其容量－Shannon公式7Shannon公式的用途四

用時間換取頻帶或用頻帶換取時間擴頻－－縮短時間：通信電子對抗、潛艇通信窄帶－－增加時間：電話線路傳準(zhǔn)活動圖象第63頁，共70頁?！?.5:模擬信道及其容量－Shannon公式8討論信道容量及容量費用函數(shù)的目的：不是為了實現(xiàn)可靠傳輸（這是信道編碼的目的）只是為了實現(xiàn)最大限度達到信道的信息傳輸能力可以給出信道編碼的界關(guān)于Shannon公式條件是加性高斯白噪聲（AWGN)信道下給出的是S、N、W與信道容量（最大信息傳輸速率）的關(guān)系沒有給出S、N、W與差錯概率的關(guān)系第64頁，共70頁。－1.59dB第65頁，共70頁。例2、在圖片傳輸中，每幀約為2.25×106個像素，為了能很好地重現(xiàn)圖像，需分16個亮度電平，并假設(shè)亮度電平等概率分布。試計算每秒鐘傳送30幀圖片所需信道的帶寬(信噪功率比為30dB)。信噪比（S/N）通常用分貝（dB）表示，分貝數(shù)=10×log10