通信的数学理论-香农-中文版1

通信的数学理论

近年来像PCM 和PPM 这些交换信号噪音比带宽等的多种调制方法的发展已经增强了

我们对一般通信理论的兴趣。这种理论的基础包括在重要的报纸1Nyquist and 2

Hartley 中关于此学科的内容。在当今的报纸中我们将延伸这种理论从而包括许多新的因素，特别是

噪声通道的影响，和存储可能的基于最初信息统计的结构和基于数据的最后目的性性质。

通信的基本问题是再制造一点或者准确地或者近似地一个从别处挑选的信息。通常信

息有意义；那是他们提到的或是依照一些特定物质或概念上实体的系统的相互关联。这些与

语意有关的通信方面是不切题的工程问题。重要的方面是真实的信息是从一组可能的信息挑

选来的。系统一定要有计划的操作每个可能的选择, 而不仅仅是哪一个因为在设计的时候是

未知者将会被选择。

如果设备的信息数目是有限的,那么这组数字或一些具有单调功能的数字可以被当做对

信息被关闭后再创造的测度, 所有的选择有相同的可能。像Hartley 所指出的,最自然的选择

是对数的功能。虽然当我们考虑统计信息的影响力以及对信息的持续排列这个定义必须被凝

练地概括，我们将在所有情况下用一个本质为对数的量度标准。

对数的测度更方便，主要有以下多方面的理由:

1. 它在实践上更有用。工程的重要参数，像时间、带宽、数字的分程传递等等，趋向

于随可能数字的对数线性改变。 举例来说,增加一个继电器到小组会加倍数字的可

能情形。 它加1到以2为底的对数。加倍时间大致得到可能信息数目的平方,或加

倍其对数,等等。

2. 它以适当的尺寸接近我们的直觉感观。如果我们直觉地用共同的标准线性比较测量

实体，它将接近相关到(1)。有一个想法,举例来说,二张穿孔卡片与一张相比有两倍

的信息储藏能力,并且二个通道与一个相比有两倍的传输数据的能力。

3.它在数学方面更合适。许多极限运算在对数方式下很简单，但是在普通数字下却需

要笨拙的重述。对数底的选择对应测量信息单位的选择。如果以2为底，产生的单位

可以叫二进位数字,或比较简要地叫比特,一个由建议的词。一个拥有两个稳定位置的

设备,像一个继电器或一个双稳态多谐振荡器,可以存储一比特的信息。N 个如此的装

置能存储N 比特的信息，因为可能情形的总数是b log a

。 >

图1—一个常规信息系统原理图

并且2log 2N N =。如果以10为底产生的单位可以叫十进制数字。因为

2101010log log /log 2 3.32log M M M ==。

@

1Nyquist ，“某些影响通报速度的因素”贝尔系统科技刊物，1924年4月，第324页；“电报传输

理论中某些总联机程序和信息控制系统”， 年4月，第617页。

2Hartley, R. V. L ，“信息传输”， 贝尔系统科技刊物，1928年7月，第535页。 一个十进制数大约133

比特。书桌上的一个阿拉伯数字计数器有十个稳定的位置并且因此拥有存储十进制数字的能力。有时在综合和区分的解析工作中底数e 很有用处。以此为底

的信息结果将被叫做自然对数。将底数由a 改为b 仅仅需要乘以b log a 。

对于通信系统我们想要用一个系统的示意图图1阐明。它包括五个重要的部分：

1.一个制造信息或排序信息的信息源将被传达到终端。信息可能有各种不同类型:(a)电传打

字系统的电报中的字母序列;(b)无线电话中的一个单一时间函数f(t);(c)一个时间函数和其它

应用在黑白电视机中的变量—在这里信息可能被当做一个二个空间坐标和时间的函数

f(x,y,t)；在点(x,y)的光强度，在光的金属板上获得的时间t;(d)二或更多的时间函数,分别为f(t)、

g(t),h(t)—这是“三维”声音传播的情形，或者若系统有意维修个别多元通道;(e)一些变量的

一些函数—在彩色电视机中有三个函数f(x,y,t),g(x,y,t),h(x,y,t)，定义在一个三维空间的闭联集

中—我们也可能想像这三个函数作为一个定义在区域矢量场的向量分量—同样地，个别黑白

电视机消息来源是许多三个变量的函数；(f)不同的混合物也会发生，例如在电视机中有联合

的音频信道。

2.用一些方法操作信息以产生在信道上传输的合适信号的传达者。在电话制造中这种操作包

括的仅仅是替换躁声压力为电流。在电信技术中我们有产生一系列点、莫尔斯电码、空间等

相关信息信道的编码、译码的操作。在一个多元的PCM 系统不同的语音函数必须被取样压

缩, 量子化和编码,而且最后完全交叉存取地构造信号。声音传播机系统、电视和频率调制器

是其他的联合体操作应用于信息以获取信号的例子。

3.信道只是用来从传达者到接收者传送信号的媒介。它可能是一双电线、一个同桥电缆、一

条无线电电波,一个光束,等等。

4.接收者通常完成由传达者做的反运算,重建来自信号的信息。

~

5.目的地是信息对其有意的人(或者事物)。我们希望考虑特定的一般问题用于信息系统。这

首先需要描述不同数学实体的相关原理，将他们的物理副本合理的理想化。我们大致把通信

系统分为三大类：离散的，连续的和混和的。离散系统对于我们就意味着信息和信号是一系

列的离散符号。一个典型的情形是在电信技术中消息是一系列的字母和信号点、莫尔斯电码

及空间。连续型的系统就是一个信息和信号都被看作是连续函数的系统，例如无线电通信或

电视机。混合系统中既有离散的又有连续的变量，例如PCM 语言传输。我们首先考虑离散

的情形。这种情形不仅应用于通信理论，而且应用于计算机理论，电话局和其他领域的设计。

另外离散的情形构成在下半页要处理的连续和混合情形的基础。

第一部分：离散的无噪声系统

1．离散的无噪声信道

电传打字机和电信技术是离散信道上信息传输的两个简单例子。一般来讲，一个离散信

道就意味着一个系统怎么从可以从一个点传到另一个点被传输的有限集合元素符号

1,...,n S S 选择次序。每一个符号i S 被假定有确定的连续时间i t 秒（对于不同的i S 没必要相同，

例如电信技术中的点和莫尔斯电码）。这不需要有可能传输到系统的i S 的所有可能排序，确

定次序仅仅是可能被允许。这将在信道产生可能的信号。这样在电信技术中可以推想符号有：