1、http:/ |X)。嚴(yán)格地說(shuō)，信道總是存在干擾的。嚴(yán)格地說(shuō)，信道總是存在干擾的。只有理想情況下，信道才無(wú)干擾。從只有理想情況下，信道才無(wú)干擾。從互信息角度看，這時(shí)通過(guò)信道的互信互信息角度看，這時(shí)通過(guò)信道的互信息即信宿所收到的信息就是信源所輸息即信宿所收到的信息就是信源所輸出的信息。信道中所通過(guò)的最大信息出的信息。信道中所通過(guò)的最大信息量即信源所輸出的最大熵。量即信源所輸出的最大熵。問(wèn)題可歸結(jié)為求問(wèn)題可歸結(jié)為求M(T)，根據(jù)符號(hào)間有，根據(jù)符號(hào)間有無(wú)約束可以分別加以討論。無(wú)約束可以分別加以討論。考慮符號(hào)間有固定約束情況?？紤]符號(hào)間有固定約束情況。對(duì)于輸入單個(gè)消息的信道，可表示見(jiàn)對(duì)于輸入單個(gè)消息的

2、信道，可表示見(jiàn)圖圖3-3-1。圖3-3-1 離散、單消息信道離散強(qiáng)對(duì)稱(chēng)信道見(jiàn)圖離散強(qiáng)對(duì)稱(chēng)信道見(jiàn)圖3-3-2。圖圖3-3-2 離散強(qiáng)對(duì)稱(chēng)信道離散強(qiáng)對(duì)稱(chēng)信道進(jìn)一步分析上述強(qiáng)對(duì)稱(chēng)信道后，進(jìn)一步分析上述強(qiáng)對(duì)稱(chēng)信道后，我們發(fā)現(xiàn)它具有下列兩項(xiàng)重要特征。我們發(fā)現(xiàn)它具有下列兩項(xiàng)重要特征。 其輸入消息與輸出消息相等，其輸入消息與輸出消息相等，均為均為n個(gè)，即個(gè)，即m=n。且信道中總的誤。且信道中總的誤差概率差概率Pe,它將它將平均分配給平均分配給(n-1)個(gè)個(gè)傳輸?shù)腻e(cuò)誤。傳輸?shù)腻e(cuò)誤。 信道轉(zhuǎn)移概率矩陣中的每信道轉(zhuǎn)移概率矩陣中的每 一一行都是第一行的重排列，即信道對(duì)輸行都是第一行的重排列，即信道對(duì)輸入是對(duì)稱(chēng)的；每

3、一列都是第一列的重入是對(duì)稱(chēng)的；每一列都是第一列的重排列，即信道對(duì)輸出也是對(duì)稱(chēng)的。排列，即信道對(duì)輸出也是對(duì)稱(chēng)的。條件條件就對(duì)稱(chēng)而言，比條件就對(duì)稱(chēng)而言，比條件更更加本質(zhì)，更加重要。若放棄條件加本質(zhì)，更加重要。若放棄條件，保留條件保留條件，我們就可以得到一般性，我們就可以得到一般性的對(duì)稱(chēng)信道。的對(duì)稱(chēng)信道。下面，假如我們?cè)賹l件放下面，假如我們?cè)賹l件放松一些，比如信道的輸出集合可以松一些，比如信道的輸出集合可以劃分為若干個(gè)不相等的且具有對(duì)稱(chēng)劃分為若干個(gè)不相等的且具有對(duì)稱(chēng)信道性質(zhì)的子集合。信道性質(zhì)的子集合。若信道的轉(zhuǎn)移矩陣若信道的轉(zhuǎn)移矩陣P的逆矩陣的逆矩陣P-1存存在，這類(lèi)信道稱(chēng)為具有可逆矩陣的信道。

4、在，這類(lèi)信道稱(chēng)為具有可逆矩陣的信道。對(duì)于這類(lèi)信道在理論上其信道容量是可對(duì)于這類(lèi)信道在理論上其信道容量是可以用求極值的方式得到的。以用求極值的方式得到的。這類(lèi)信道由于要求信道轉(zhuǎn)移矩陣這類(lèi)信道由于要求信道轉(zhuǎn)移矩陣的逆存在，它必然要求信道輸入輸出具的逆存在，它必然要求信道輸入輸出具有相同數(shù)量的元素。即有相同數(shù)量的元素。即nm,P為方陣，為方陣，且為正則方陣。且為正則方陣。前面，我們討論了一些特殊情況下離前面，我們討論了一些特殊情況下離散單消息信道的信道容量計(jì)算的問(wèn)題。下散單消息信道的信道容量計(jì)算的問(wèn)題。下面，將討論一般情況下離散單消息信道的面，將討論一般情況下離散單消息信道的信道容量的計(jì)算機(jī)迭代算法

5、。信道容量的計(jì)算機(jī)迭代算法。由信道容量定義，求信道容由信道容量定義，求信道容量實(shí)際上就是求互信息量實(shí)際上就是求互信息I(X，Y)的的極大值。而引用迭代法求互信息的極大值。而引用迭代法求互信息的極值的關(guān)鍵在于尋求兩個(gè)互為因果極值的關(guān)鍵在于尋求兩個(gè)互為因果關(guān)系的自變量來(lái)表達(dá)互信息，以便關(guān)系的自變量來(lái)表達(dá)互信息，以便進(jìn)行循環(huán)迭代運(yùn)算。進(jìn)行循環(huán)迭代運(yùn)算。定理定理3-5-2：滿足限頻：滿足限頻(F)、限時(shí)、限時(shí)(T)條條件的廣義平穩(wěn)隨機(jī)過(guò)程信源件的廣義平穩(wěn)隨機(jī)過(guò)程信源U(t,)，當(dāng)它，當(dāng)它通過(guò)一個(gè)限功率通過(guò)一個(gè)限功率(P)的白色高斯信道時(shí)，其的白色高斯信道時(shí)，其容量值為：容量值為：C=FTlog(1+S

6、/2)若若T=1,即單位時(shí)間的容量為：即單位時(shí)間的容量為：C=Flog(1+S/2)這就是著名的仙農(nóng)公式。這就是著名的仙農(nóng)公式。(1) 用頻帶換取信噪比，它是現(xiàn)代擴(kuò)頻用頻帶換取信噪比，它是現(xiàn)代擴(kuò)頻通信的基本原理。通信的基本原理。其目的是為了提高通信系統(tǒng)的可靠性。其目的是為了提高通信系統(tǒng)的可靠性。(2) 用信噪比換頻帶，它是多進(jìn)制多電用信噪比換頻帶，它是多進(jìn)制多電平多維星座調(diào)制通信方式的基本原理。平多維星座調(diào)制通信方式的基本原理。這里，正好與這里，正好與(1)中相反，往往在優(yōu)質(zhì)中相反，往往在優(yōu)質(zhì)信道中，信噪比有富裕，而使用的頻帶緊信道中，信噪比有富裕，而使用的頻帶緊張，這時(shí)可以采用與張，這時(shí)可以

7、采用與(1)中相反的措施，用中相反的措施，用信噪比換頻帶。信噪比換頻帶。(3) 用時(shí)間換取信噪比，它是弱信號(hào)累用時(shí)間換取信噪比，它是弱信號(hào)累積接收的基本原理。積接收的基本原理。在深空通信中，往往利用這一原理傳在深空通信中，往往利用這一原理傳送圖片。它是利用信號(hào)與干擾統(tǒng)計(jì)特性上送圖片。它是利用信號(hào)與干擾統(tǒng)計(jì)特性上的差異來(lái)實(shí)現(xiàn)的。的差異來(lái)實(shí)現(xiàn)的。(4) 用時(shí)間換取頻帶。用時(shí)間換取頻帶。在一些特殊需要的情況下，比如可以在一些特殊需要的情況下，比如可以采用頻帶很窄的電話線路，傳送準(zhǔn)活動(dòng)的采用頻帶很窄的電話線路，傳送準(zhǔn)活動(dòng)的圖像，像拉洋片式的，就是基于這一原理。圖像，像拉洋片式的，就是基于這一原理。上面

8、，我們研究了平穩(wěn)無(wú)記憶連續(xù)上面，我們研究了平穩(wěn)無(wú)記憶連續(xù)信息序列信道，這節(jié)將進(jìn)一步研究非平信息序列信道，這節(jié)將進(jìn)一步研究非平穩(wěn)的無(wú)記憶連續(xù)消息序列信道。這時(shí)，穩(wěn)的無(wú)記憶連續(xù)消息序列信道。這時(shí)，K維序列中的每一維的信號(hào)與噪聲分量，維序列中的每一維的信號(hào)與噪聲分量，雖然滿足統(tǒng)計(jì)無(wú)關(guān)的無(wú)記憶特性，但是雖然滿足統(tǒng)計(jì)無(wú)關(guān)的無(wú)記憶特性，但是不滿足平穩(wěn)性。不滿足平穩(wěn)性。結(jié)論結(jié)論：只有當(dāng)輸出序列中：只有當(dāng)輸出序列中各分量相等時(shí)，才能保證序列各分量相等時(shí)，才能保證序列輸入信道達(dá)到最大的容量值。輸入信道達(dá)到最大的容量值。這就是著名的注水定理離散表這就是著名的注水定理離散表達(dá)形式（見(jiàn)圖達(dá)形式（見(jiàn)圖3-5-3）。）。

9、圖3-5-3 離散式注水定理示意圖前面所研究的信道均指單個(gè)用前面所研究的信道均指單個(gè)用戶(hù)輸入與輸出的單用戶(hù)信道。它又戶(hù)輸入與輸出的單用戶(hù)信道。它又可以劃分為兩類(lèi)：一類(lèi)為單用戶(hù)信可以劃分為兩類(lèi)：一類(lèi)為單用戶(hù)信源的單用戶(hù)信道，另一類(lèi)為多用戶(hù)源的單用戶(hù)信道，另一類(lèi)為多用戶(hù)信源的單用戶(hù)信道。信源的單用戶(hù)信道。頻帶正交復(fù)用頻帶正交復(fù)用(FDM)、時(shí)間正交復(fù)用、時(shí)間正交復(fù)用(TDM)、波形正交復(fù)用、波形正交復(fù)用(WDM)。所謂正交復(fù)用，即要求設(shè)計(jì)一組信號(hào)，所謂正交復(fù)用，即要求設(shè)計(jì)一組信號(hào)，使它既能在發(fā)送端不重疊的合并，又能在使它既能在發(fā)送端不重疊的合并，又能在接收端不互相干擾的分開(kāi)。接收端不互相干擾的分開(kāi)

10、。多址信道多址信道(見(jiàn)圖見(jiàn)圖3-7-3)，是指地面有多，是指地面有多個(gè)地面站輸送入衛(wèi)星轉(zhuǎn)發(fā)器，而轉(zhuǎn)發(fā)器將個(gè)地面站輸送入衛(wèi)星轉(zhuǎn)發(fā)器，而轉(zhuǎn)發(fā)器將n路合并后再輸出送回地面站，目前利用通路合并后再輸出送回地面站，目前利用通信衛(wèi)星進(jìn)行的衛(wèi)星通信屬于此類(lèi)。信衛(wèi)星進(jìn)行的衛(wèi)星通信屬于此類(lèi)。圖3-7-3 多址信道廣播信道廣播信道(見(jiàn)圖見(jiàn)圖3-7-4)它是指單個(gè)輸入它是指單個(gè)輸入多個(gè)輸出的信道，中央以及各地廣播電臺(tái)、多個(gè)輸出的信道，中央以及各地廣播電臺(tái)、電視臺(tái)均屬于這類(lèi)信道。電視臺(tái)均屬于這類(lèi)信道。圖3-7-4 廣播信道隨機(jī)接入信道隨機(jī)接入信道(見(jiàn)圖見(jiàn)圖3-7-5)是由多個(gè)輸是由多個(gè)輸入和多個(gè)輸出所組成隨機(jī)接入信道

11、。應(yīng)該入和多個(gè)輸出所組成隨機(jī)接入信道。應(yīng)該說(shuō)說(shuō)n個(gè)用戶(hù)之間在理論上可以不通過(guò)中轉(zhuǎn)的個(gè)用戶(hù)之間在理論上可以不通過(guò)中轉(zhuǎn)的基站即可相互通信，但是由于實(shí)際因素的基站即可相互通信，但是由于實(shí)際因素的影響，必須通過(guò)中轉(zhuǎn)的基站才能建立可靠影響，必須通過(guò)中轉(zhuǎn)的基站才能建立可靠通信。實(shí)際上在計(jì)算機(jī)數(shù)據(jù)通信中的局域通信。實(shí)際上在計(jì)算機(jī)數(shù)據(jù)通信中的局域網(wǎng)、廣域網(wǎng)也可看作這類(lèi)信道。網(wǎng)、廣域網(wǎng)也可看作這類(lèi)信道。圖3-7-5 隨機(jī)接入信道讓我們從最簡(jiǎn)單的二址信道入手。圖讓我們從最簡(jiǎn)單的二址信道入手。圖3-7-6為二址通信系統(tǒng)。為二址通信系統(tǒng)。圖3-7-6 二址通信系統(tǒng)在傳送在傳送U1時(shí)，令時(shí)，令U2(X2)給定，使給定，

12、使R1C1；在傳送；在傳送U2時(shí)，令時(shí)，令U1(X1)給定，給定，使使R2C2；則平均每個(gè)消息；則平均每個(gè)消息(符號(hào)符號(hào))的總的總信息率為：信息率為：R1+R2C1+(1)C2結(jié)論：對(duì)于連續(xù)二址的正態(tài)信道，性結(jié)論：對(duì)于連續(xù)二址的正態(tài)信道，性能比離散二址好，且有能比離散二址好，且有3個(gè)點(diǎn)個(gè)點(diǎn)C1、C2、A達(dá)達(dá)到了二址信道的容量界限。但是，根據(jù)對(duì)到了二址信道的容量界限。但是，根據(jù)對(duì)一維的時(shí)頻分多址的分析，無(wú)論是離散還一維的時(shí)頻分多址的分析，無(wú)論是離散還是連續(xù)，它們都不是最好的多址劃分方式。是連續(xù)，它們都不是最好的多址劃分方式。因此它們大多數(shù)情況下都達(dá)不到二址容量因此它們大多數(shù)情況下都達(dá)不到二址容量

13、界限。然而，建立在二維劃分基礎(chǔ)上的碼界限。然而，建立在二維劃分基礎(chǔ)上的碼分，由于不受一維的非此即彼的傳送約束，分，由于不受一維的非此即彼的傳送約束，兩路可同時(shí)傳送，按理其性能要優(yōu)于傳統(tǒng)兩路可同時(shí)傳送，按理其性能要優(yōu)于傳統(tǒng)一維劃分的時(shí)頻分。但是否能達(dá)到二址容一維劃分的時(shí)頻分。但是否能達(dá)到二址容量限以及如何達(dá)到都是一個(gè)值得進(jìn)一步研量限以及如何達(dá)到都是一個(gè)值得進(jìn)一步研究的課題。究的課題?；蛘呓o定轉(zhuǎn)移概率的聯(lián)合概率：或者給定轉(zhuǎn)移概率的聯(lián)合概率：P(Y1Y2 | X)。假設(shè)編碼器是一一對(duì)應(yīng)的，。假設(shè)編碼器是一一對(duì)應(yīng)的，也就是以確定的函數(shù)也就是以確定的函數(shù)X(U1；U2)來(lái)編碼。來(lái)編碼。當(dāng)當(dāng)U1已知時(shí)，已

14、知時(shí)，X中的信息決定于中的信息決定于U2，當(dāng)，當(dāng)U2已知時(shí)，已知時(shí)，X中的信息決定于中的信息決定于U1，而一般情，而一般情況下，況下，X決定于決定于U1、U2。實(shí)際上，當(dāng)給定實(shí)際上，當(dāng)給定P(y1x)、P(y2x)后后求這個(gè)外凸包是很困難的。且至今尚未有求這個(gè)外凸包是很困難的。且至今尚未有確切的方法。這里，問(wèn)題是它不像在多址確切的方法。這里，問(wèn)題是它不像在多址接入信道那樣可以運(yùn)用求極值的方法進(jìn)行接入信道那樣可以運(yùn)用求極值的方法進(jìn)行計(jì)算。在那里，改變計(jì)算。在那里，改變p(X1)和和p(X2)可以求得可以求得極值，且它已由編碼定理所證明。而這里極值，且它已由編碼定理所證明。而這里則沒(méi)有相類(lèi)似的結(jié)論。則沒(méi)有相類(lèi)似的結(jié)論。值得驚奇的是編碼器值得驚奇的是編碼器I在并不知道在并不知道U2的情況下，卻能在的情況下，卻能在C1小于小于H(X)時(shí)還能編出時(shí)還能編出碼來(lái)，并做到無(wú)差錯(cuò)的傳送至接收端。碼來(lái)，并做到無(wú)差錯(cuò)的傳送至接收端。在三信道的方案中，我們利用公信息在三信道的方案中，我們利用公信息傳送傳送W，而信道，而信道I與信道與信道II分別為分別為U1、U2專(zhuān)用。因此，只要滿足：專(zhuān)用。因此，只要滿足：C1R1H(U1 | W)C2R2H