1、信息論概述及其應(yīng)用信息的概念人類從產(chǎn)生的那天起，就生活在信息的海洋之中。人類社會的生存和發(fā)展，無時無刻都離不開接收信息，傳遞信息，處 理信息和利用信息。比如原始人的“結(jié)繩記事”也許是最初期的表達(dá)，存儲和傳送信息的 辦法，古代的“烽火告警”是一種最早的快速，遠(yuǎn)距離的傳遞信息的 方式。近現(xiàn)代以來，由于電子計算機的迅速發(fā)展和廣泛應(yīng)用， 尤其個人微型 計算機得以普及，大大提高了人們處理加工信息，存儲信息及控制和 管理信息的能力。隨著計算機技術(shù)，微電子技術(shù)，傳感技術(shù)，激光技術(shù)，衛(wèi)星通訊，移 動通訊等等新技術(shù)的發(fā)展和應(yīng)用，尤其是近年來以計算機為主體的互 聯(lián)網(wǎng)技術(shù)的興起與發(fā)展，他們相互結(jié)合，相互促進，以前所

2、未有的的 威力推動著人類經(jīng)濟和社會的高速發(fā)展。這是這些現(xiàn)代新科學(xué)，新技 術(shù)，將人類社會推入到高度信息化時代。信息與信號，消息的比較 消息是信息的數(shù)學(xué)載體，信號是信息的物理載體。 信號是具體的，物理的 消息是具體的，非物理的 信息是非具體的，非物理的 信號最具體，它是一物理量，可測量，可顯示，可描述，同時它又是 載荷信息的試題信息的物理層表達(dá)。消息是具體的， 非物理的， 可以描述為語言文字， 符號，數(shù)據(jù)，圖片， 能夠被感覺到， 同時它也是信息的載荷體。 是信息論中的主要描述形 式。信息是抽象的，非物理的，是哲學(xué)層的表達(dá)。信息的定義 關(guān)于信息的科學(xué)定義，到目前為止，國內(nèi)外已有上百種說法，他們都 是

3、從不同側(cè)面和不同的層次來揭露信息的本質(zhì)。 最早對信息進行科學(xué)定義的是萊哈特。他在 1928 年發(fā)表的信息傳 輸一文中，首先提出信息這個概念。但是哈萊特這種理解在一定程度上能夠解釋通信工程中的一些信息 問題，但他存在著嚴(yán)重的局限性。1948 年，控制論的創(chuàng)始人之一，美國科學(xué)家維納出版了控制論 動物和機器中通訊與控制問題 一書。他指出了， 信息就是信息自 己，不是其他什么東西的替代物，它是與物質(zhì)，能量等同等重要的基 本概念。正是維納，首先將信息上升到了最基本概念的位置。香農(nóng)在1948年發(fā)表了一篇著名的論文一通信的數(shù)學(xué)理論。他從 研究通信的系統(tǒng)傳輸?shù)膶嵸|(zhì)出發(fā)，對信息做了科學(xué)的定義，并進行了 定性和定

4、量的描述。香農(nóng)信息論是以概率論、隨機過程為基本研究工具，研究廣義通信系 統(tǒng)的整個過程，而不是整個環(huán)節(jié)，并以編、譯碼器為重點，其關(guān)心的 是最優(yōu)系統(tǒng)的性能及如何達(dá)到該性能（并不具體設(shè)計環(huán)節(jié)，也不研究 信宿）。目前，香農(nóng)信息論方面值得注意的研究方向有信息概念的深 化問題、信息失真理論的發(fā)展及在數(shù)據(jù)壓縮中的應(yīng)用、 以計算機為中 心的信息處理系統(tǒng)的基本理論等。信息論研究的對象，目的和內(nèi)容信息論研究的對象是統(tǒng)一的通信系統(tǒng)模型。通信系統(tǒng)模型主要分成下列五部分。1，信息源：信源是產(chǎn)生消息和消息序列的源。2，編碼器：編碼是吧消息變成信號的措施。3，信道：信道是指通信系統(tǒng)把載荷消息的信號從甲地傳輸?shù)揭业氐?媒介或

5、通道。4，譯碼器：譯碼就是把信道輸出的編碼信號（已疊加干擾）進行反 變換，一般認(rèn)為這種變換是可逆的。譯碼器一般可以分為新源譯碼器 和信道譯碼器。若在保密通信系統(tǒng)中，應(yīng)還包括解密譯碼。5，信宿：信宿是消息傳送的對象，即接收消息的人或機器。信源和 信宿可處于不同地點和不同時刻。香農(nóng)信息論的建立與發(fā)展香農(nóng)于1948年10月發(fā)表于貝爾系統(tǒng)技術(shù)學(xué)報上的論文AMathematical Theory of Com mun icatio n（通信的數(shù)學(xué)理論）作為現(xiàn)代信息論研究的開端。在這兩篇論文中，他用概率測度和數(shù)理 統(tǒng)計的方法系統(tǒng)地討論了通訊的基本問題，首先嚴(yán)格定義了信息的度量-熵的概念，又定義了信道容量的

6、概念，得出了幾個重要而且?guī)?有普遍意義的結(jié)論，并由此奠定了現(xiàn)代信息論的基礎(chǔ)。1，香農(nóng)信息理論的數(shù)學(xué)嚴(yán)格化2，無失真信源編碼定理和技術(shù)的發(fā)展3，信道糾錯編碼的發(fā)展4，限失真信源編碼的提出和發(fā)展5，多用戶，網(wǎng)絡(luò)信息論的發(fā)展6，信息保密與安全理論的提出和發(fā)展香農(nóng)定義的信息仍有其局限性，存在一些缺陷信息論在相關(guān)領(lǐng)域的應(yīng)用信息很早就被人們利用，但真正被作為一個科學(xué)概念探討，則是20世紀(jì)40年代以后的事，而被作為科學(xué)為人們普遍認(rèn)識和利用則是近 幾十年的事情。當(dāng)今世界，信息技術(shù)日新月異，在經(jīng)濟社會各領(lǐng)域的 應(yīng)用不斷深化，日益深刻地影響著人類社會發(fā)展。 信息產(chǎn)業(yè)已經(jīng)發(fā)展 成為當(dāng)前世界上最大的產(chǎn)業(yè)。今年來，逐漸形成的光學(xué)信息論，量子信息論，生物信息論都是信息 科學(xué)的重要分支。信息論主要的應(yīng)用范圍：編碼學(xué)密碼學(xué)與密碼分析學(xué)數(shù)據(jù)傳輸數(shù)據(jù)壓縮檢測理論估計理論政治學(xué)（政治溝通