1、第2章 信息的統(tǒng)計度量信息的度量通常有兩種:一種是對消息符號或消息符號集本身所含信息量多少的度量，比如信源符號包含的信息量；另一種是對消息符號或消息符號集之間相互提供信息量多少的度量，比如信宿收到消息后獲得關于信源的信息量。前者用自信息和熵來描述，而后者用互信息和互熵來描述。本章內容2.1 隨機變量的統(tǒng)計特性2.2 離散隨機變量的自信息和信息熵2.3 離散隨機變量的聯合自信息和聯合熵2.4 離散隨機變量的條件自信息和條件熵2.5 離散隨機變量的互信息和平均互信息2.6 連續(xù)隨機變量的信息度量2.1 隨機變量的統(tǒng)計特性2.1.1 隨機變量的分類及其描述1、離散隨機變量的統(tǒng)計特性概率之間的關系2、

2、連續(xù)隨機變量的統(tǒng)計特性兩種重要的連續(xù)隨機變量兩種重要的連續(xù)隨機變量2.1.2信源的統(tǒng)計特性2.1.3 信道的傳輸特性單符號離散信道的概率空間2.2 離散隨機變量的自信息和信息熵一、自信息量I(xi)和信息熵H(X)2.2.3信息熵的性質2.3 離散隨機變量的聯合自信息和聯合熵聯合自信息量I(xi,yj)和聯合熵H(X,Y)1、聯合自信息量： 元素對 中所含的信息量2、聯合熵： 聯合符號集合（X，Y）上的平均每個元素對 中所含的信息量物理意義物理意義2.4 離散隨機變量的條件自信息和條件熵條件自信息條件熵條件熵條件熵解：（3）已知發(fā)出的和收到的符號，求能得到的信息量。 （4）已知收到的符號，求被

3、告知發(fā)出的符號得到的信息量。例題：二進制通信系統(tǒng)等概使用符號0和1，由于存在失真，傳輸時會產生誤碼，無記憶信道模型如下。試計算（1）已知發(fā)出一個0，求收到符號后得到的信息量。（2）已知發(fā)出的符號，求收到符號后得到的信息量。01011/23/4x1x2y1y2解：各種熵的關系1) H(X,Y)=H(X)+H(Y/X)=H(Y)+H(X/Y) H(X,Y)H(X)+H(Y); X和Y統(tǒng)計獨立時，取等號。 H(X/Y) H(X) ; X和Y統(tǒng)計獨立時，取等號。條件熵總是小于或等于無條件熵。例題已知兩個獨立的隨機變量x、y的分布律如下，計算假定 Z=XY。計算H（X）、 H（Z）、 H（X/Y）、 H

4、（XY）、 H（YZ）2.5 離散隨機變量的互信息和平均互信息互信息的物理含義互信息的性質平均互信息聯合互信息和條件互信息信息處理定理2.6 連續(xù)隨機變量的信息度量一、連續(xù)隨機變量的熵1）絕對熵：2）連續(xù)信源的熵（相對熵、差熵）：連續(xù)隨機變量的相對熵與絕對熵應該區(qū)別對待。連續(xù)隨機變量的絕對熵為無窮大，其物理意義與離散隨機變量的信息熵相同，具有非負性。在取兩熵之間的差時，絕對熵中的無窮項可以抵消，故定義的相對熵不影響平均互信息量和信道容量的計算。所以相對熵又稱為差熵。非特殊指明，連續(xù)隨機變量的熵指的是相對熵。雖然它在形式上和離散隨機變量的信息熵相似，但在概念上不能把它作為信息熵來理解。相對熵只具有熵的部分含義和性質，而喪失了某些重要的特性。相對熵仍具有可加性、上凸性和極值性，但卻不存在非負性。說明：連續(xù)隨機變量的熵具有的性質連續(xù)隨機變