A卷（共14頁(yè)）第4頁(yè)河北科技大學(xué)2012——2013學(xué)年第一學(xué)期《信息科學(xué)基礎(chǔ)》試卷（A）學(xué)院理學(xué)院班級(jí)姓名學(xué)號(hào)題號(hào)一二總分得分得分一、簡(jiǎn)答題（共8題，每題5分）如有6行8列的棋型方格，若有兩個(gè)質(zhì)點(diǎn)A和B，分別以等概率落入任一方格內(nèi)，且它們的坐標(biāo)分別為、，但A，B不能落入同一方格內(nèi)。試求：若僅有質(zhì)點(diǎn)A，求A落入任一個(gè)格的平均自信息量；若已知A已入，求B落入的平均自信息量；若A，B是可分辨的，求A，B同時(shí)落入的平均自信息量。2．設(shè)離散無(wú)記憶信源為求信源的熵，并解釋為什么不能滿足信源的極值性。3.令離散無(wú)記憶信源（1）求對(duì)S的最佳二元碼、平均碼長(zhǎng)和編碼效率；（2）求對(duì)的最佳二元碼、平均碼長(zhǎng)和編碼效率。4.解釋最小錯(cuò)誤概率譯碼準(zhǔn)則，最大似然譯碼準(zhǔn)則和最小距離譯碼準(zhǔn)則，說(shuō)明三者的關(guān)系。5.一個(gè)馬爾可夫過(guò)程的基本符號(hào)0,1,2，這三個(gè)符號(hào)以等概率出現(xiàn)，具有相同的轉(zhuǎn)移概率，并且沒(méi)有固定約束。（1）畫出單純馬爾可夫過(guò)程的狀態(tài)圖，并求穩(wěn)定狀態(tài)下的馬爾可夫信源熵；求的聯(lián)合熵和平均符號(hào)熵；求這個(gè)鏈的極限平均符號(hào)熵；求，，和它們對(duì)應(yīng)的冗余度。3.設(shè)有一離散信道，其信道矩陣為，求：（1）最佳概率分布？（2）當(dāng)，時(shí)，求平均互信息信道疑義度（3）輸入為等概率分布時(shí)，試寫出一譯碼規(guī)則，使平均譯碼錯(cuò)誤率最小，并求此4.設(shè)線性分組碼的生成矩陣為，求：（1）此（n，k）碼的n=？k=？，寫出此（n，k）碼的所有碼字。（2）求其對(duì)應(yīng)的一致校驗(yàn)矩陣H。（3）確定最小碼距，問(wèn)此碼能糾幾位錯(cuò)？列出其能糾錯(cuò)的所有錯(cuò)誤圖樣和對(duì)應(yīng)的伴隨式。（4）若接收碼字為000110，用伴隨式法求譯碼結(jié)果。5.某氣象員報(bào)告氣象狀態(tài)，有四種可能的消息：晴、云、雨和霧。若每個(gè)消息是等概的，那么發(fā)送每個(gè)消息最少需要的二元脈沖數(shù)是多少？又若4個(gè)消息出現(xiàn)的概率分別為，問(wèn)在此情況下消息所需的二元脈沖數(shù)是多少？如何編碼？6.假定離散矢量信源N=3，輸出矢量序列為，其中，的取值為{0,1}；經(jīng)信源傳輸后的輸出為，其中，的取值為{0,1}。定義失真函數(shù)求矢量失真矩陣。河北科技大學(xué)2011——2012學(xué)年第一學(xué)期《信息科學(xué)基礎(chǔ)》答案（A）簡(jiǎn)答題（共8題，每題5分）1.（1）答：A落入任一格的概率為平均自信息量（2）答：A落入后，B再落入的概率（3）答：A，B同時(shí)落地的聯(lián)合熵2.答：由定義，信源的熵信源的概率分布要求滿足，而此題中。即各種可能發(fā)生的情況下，概率之和大于“1”，在實(shí)際情況下這是不可能發(fā)生的。3.（1）答：采用霍夫曼方法進(jìn)行編碼，得：1：00=01平均碼長(zhǎng)為(碼元/信源符號(hào))編碼效率為（2）答：霍夫曼編碼后：10：001：010：110：111：0000：0001：0110：0111平均碼長(zhǎng)為（碼元/信源符號(hào)）信源熵為（bit/信源符號(hào)）編碼效率為

4.答：最小錯(cuò)誤概率譯碼準(zhǔn)則下，將接收序列譯為后驗(yàn)概率最大時(shí)所對(duì)應(yīng)的碼字。

最大似然譯碼準(zhǔn)則下，將接收序列譯為信道傳遞概率最大時(shí)所對(duì)應(yīng)的碼字。

最小距離譯碼準(zhǔn)則下，將接收序列譯為與其距離最小的碼字。

三者關(guān)系為：輸入為等概率分布時(shí)，最大似然譯碼準(zhǔn)則等效于最小錯(cuò)誤概率譯碼準(zhǔn)則。在二元對(duì)稱無(wú)記憶信道中，最小距離譯碼準(zhǔn)則等效于最大似然譯碼準(zhǔn)則。

5.（1）答：每個(gè)狀態(tài)發(fā)出三條轉(zhuǎn)移線，等概率出現(xiàn)。即每條轉(zhuǎn)移線的轉(zhuǎn)移概率為1/3，穩(wěn)定狀態(tài)下，三個(gè)狀態(tài)的概率也為1/3。每一狀態(tài)的熵穩(wěn)定狀態(tài)下的馬爾可夫信源熵為(2)答：有九個(gè)不同狀態(tài)，27條轉(zhuǎn)移線。9個(gè)不同狀態(tài)分別為00,01,02,10,11,12,20,21,22。每一狀態(tài)的熵為又知二階馬爾可夫每一狀態(tài)的概率為，所以二階馬爾可夫信源熵為6.答：無(wú)記憶的N次擴(kuò)展信道的平均互信息是原信道平均互信息的N倍。

7.答：平均自信息為

表示信源的平均不確定度，也表示平均每個(gè)信源消息所提供的信息量。

平均互信息為

表示從Y獲得的關(guān)于每個(gè)X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還表示通信前后整個(gè)系統(tǒng)不確定性減少的量。平均互信息量I（X;Y）是信源概率分布p(x)的上凸函數(shù)，是信道傳遞概率p(y|x)的下凸函數(shù)。

8.答：是遍歷的，p*p*p矩陣的所有元素全是正數(shù)，說(shuō)明這個(gè)馬爾可夫鏈存在平穩(wěn)分布，是遍歷的。

二、綜合題（共6題，每題10分）1.答：（1）該信源的狀態(tài)轉(zhuǎn)移矩陣為（2）W=[W1,W2,W3,W4],其中W1=p(S1),W2=p(S2),W3=p(S3),W4=p(S4),由平穩(wěn)分布的矩陣方程WP=W,以及p(S1)+p(S2)+p(S3)+p(S4)=1，可以得到平穩(wěn)分布為：p(S1)=p(S4)=5/14,p(S2)=p(S3)=1/7.(3)該平穩(wěn)分布的信源熵H=p(S1)*H(0.8,0.2)+p(S2)*H(0.5,0.5)+p(S3)*H(0.5,0.5)+p(S4)*H(0.8,0.2)=0.8bit/符號(hào)。2.（1）答：信源是一階馬爾可夫的，所以由知的聯(lián)合概率為1231231/41/61/61/801/121/81/120因此由知的聯(lián)合概率為1231237/245/365/367/4805/727/485/720的聯(lián)合熵為平均符號(hào)熵為（2）答：設(shè)信源穩(wěn)態(tài)符號(hào)概率分布，由解得信源的極限平均符號(hào)熵（3）三個(gè)熵分別為由冗余度的計(jì)算公式，得它們的冗余度分別為，，3.答：1）是準(zhǔn)對(duì)稱信道，因此其最佳輸入概率分布為。

2）當(dāng)，時(shí)，有

則

3）此時(shí)可用最大似然譯碼準(zhǔn)則，譯碼規(guī)則為

且有

4.答：1）n=6，k=3，由C=mG可得所有碼字為：

000000，001011，010110，011101，100101，101110，110011，111000

2）此碼是系統(tǒng)碼，由G知，，則

3）由H可知，其任意2列線性無(wú)關(guān)，而有3列線性相關(guān)，故有，能糾一位錯(cuò)。

錯(cuò)誤圖樣E伴隨式

100000101

010000110

001000011

000100100

000010010

000001001

4）由知E＝010000，則5.答：至少需要二位二進(jìn)制編碼元來(lái)發(fā)送4個(gè)等概率發(fā)生的信息晴-00云-01雨-10霧-114個(gè)信息的概率恰好是2的負(fù)整數(shù)冪，