通信的数学理论-香农

西安工业大学陕西省光电测试与仪器技术重点实验室陈丁译1通信的数学理论C.E.香农引言各种调制方法的最新发展方向，都将其重点都放在一般的通信理论方面上，例如PCM和PPM都是以带宽来换取信噪比的改善。在Nyquist和Hartley的重要论文中对此学科的基本理论有所介绍。在现在的论文中，我们拓展了该理论，提出了影响通信的一些新因素，尤其是噪声对信道的影响，根据初始消息的统计特性和信息终端的特性来尽可能恢复出信息。通信的基本问题就是在一个点上能精确地或近似地再现出另外一个特定点上的消息。消息常常是有含义的。根据系统的物理特征或概念本质，它们都是有所指或者互相相关的。通信的语义学方面与工程问题是不相干的。最要意义是，实际消息是从一组可能的消息中选取的。由于设计之时并不知道选择是哪个消息，因此设计系统必须要能针对每一个可能的选择来操作，而不是仅仅只针对一个实际选择的消息。如果在这个集合中的消息的数字是有限的，那么这个数字或者这个数字的单调函数可以视为是一个信息的度量，这个是信息是等概率地从集合中选取一个信息时而产生的。Hartley指出了最自然地选择是对数函数。虽然这个定义是非常概括的，当我们考虑消息的统计特性影响和一个连续范围的消息时，在所有的情况下，我都将基本上使用这个对数测量方法。采用对数测量方法更加便利，这是因为：1.非常实用。一些重要的工程参数，例如时间，带宽，中继次数等等。总趋势与可能的数字对数值是线性的。例如，增加一次中继到一组使得中继的可能状态的数量翻倍。增加1到这个数的底数为2对数。双倍时间大概使可能的消息数量平方，或对数的两倍等2.我们凭直觉认为这是比较合理的测方法。由于我们凭直觉测量方法与通用标准进行线性比较，这是与第（1）密切相关的。例如，我们觉得两个凿孔卡;应该是一个卡信息存储容量的两倍,两个相同信道是一个信道发射信息容量的两倍。3.数学上来讲比较合适。使用对数进行很多极限运算比较简单，但是使用可能的数字的话，可能会要求繁琐地重述。对数基数的选择必须要与测量信息的单位选择匹配。如果基数2用于结果单西安工业大学陕西省光电测试与仪器技术重点实验室陈丁译2位，那么被称为二进制数,或者简称bits,这个词是J.W.Tukey建议的。具有两个稳定状态的设备（如中继器或触发电路）可以存储一个bit的信息。N状态的设备可以存储N个bits，那是因为可能状态全部数量为2N和log22N=N。如果单位使用底数10应当被称为十进制。因为：log2M=log10M/log102=3.321og10M图1通用通信系统原理框图一个十进制数大于等于313个比特。桌面计算机的数字轮有十个固定状态，因此一个数字轮有一个十进制数的存储容量。在积分和微分的分析工作中牵涉到基数e有时是非常有用的。信息的结果单位将被称之自然单位。从底数a变化到底数仅仅要求成为logba。按照图1所指的那种类型系统，我们可以了解一个通信系统。它的基本组成有五个部分：1）信号源产生一个消息或一系列消息来与接收端进行通信。消息可能是不同类型：（a）作为电报机系统所发一封电报中的一系列字母；（b）无线电或电话中的一个f(t)简单的时间函数；（c）黑白电视中的时间函数或其他变量函数，这里的信息被认为是两个空间坐标和时间的函数f(x,y,t),这代表的是在显像管平面上t时刻的点（x,y）的光强度；（d）两个及以上的时间函数，如f(t)，g(t)，h(t)，这种情况存在于“三维”声音传输中，或者系统打算要服务于多路复用的多个通道；（e）多个变量的多个函数，在彩色电视系统中，消息由三种函数所组成如f(x,y,t),g(x,y,t),h(x,y,t)，这些函数定义域是三维连续体。我们可以认为这三个函数在其定义域上组成了一个向量场。类似的，黑白电视的信号源产生的消息由这些三个变量函数所组成。（f）不同的组合形式也出现，例如电视伴随声道。2）发射机西安工业大学陕西省光电测试与仪器技术重点实验室陈丁译3以某种方式进行处理消息，以产生一个合适其发射通道的信号。在电话系统中这个处理仅仅是将声压变化为成比例的电流。在电报系统中，我们可进行编码处理，可以产生一系列点、破折号和空，在其信道中进行消息传送。在多分复用的PCM系统中，不同语音函数被采样、压缩、量化和编码。最后，合适地转化建构出信号。另外例子是，语音编码译码系统、电视和频率调制采用复杂的处理从消息变为信号。3）信道仅仅是用来传输信号从发射到接受及的媒介。它可能是双平行线、同轴电缆、无线电频率的带宽，光束等等。4）接收机通常的是接收机处理过程逆向，从信号中重构消息。5）终端这可能是人（或物），这个消息是他（它）所需要的。我们希望讨论一下通信系统的一些普遍问题。为了实现这一点，我们第一需要做的对其相应物理实体进行理想化，是用数学实体来代表其不同因素。我们可以粗略地将通信系统划分为三个主要门类：离散型、连续型和混合型的。对于一个离散系统，我们指出其消息与信号都是一系列离散的符号。典型例子就是电报，它的消息是一连串的字母，信号是一连串的点、破折号和空格。连续系统的消息和信号都被看做为连续函数，例如无限广播与电视。混合系统则是离散和连续变量同时出现，例如语音的PCM传输。我们首先讨论是离散的类型。这种类型不但应用于通信理论，还应用计算机理论，电话交换机的设计和其他领域中。此外，离散型为连续型和混合型构筑起了基础，连续型和混合型将在论文下半部分进行讨论。1离散无噪声系统1.1离散无噪声信道电传与电报是两个发送信息的离散信道的简单例子。一般而言，离散信道意味着系统从有限元素的码元S1…Sn中选择出一组序列，从一点发送到另一个点。假设每个码元Si的持续时间为ti(不同的Si的持续时间没有必要相同，如电报中的点和破折号)。并不是要把系统中的全部可能的Si序列进行发送。仅仅要求特定序列进行传输。这些将都成为信道中的信号。因此，假设电报系统的码元为：（1）一个点，由一个时间单位的闭合线和一个时间单位的断开线所组成。（2）一个破折号，由三个时间单位的闭合线和一个单位断开线组成。（3）一个字母的空由三个单位的断开线组成。（4）一个字的空有6个单位的断开线所组成。我们对于一些允许的序列可以设置一些规定，这些空没有必要相互一样（西安工业大学陕西省光电测试与仪器技术重点实验室陈丁译4如果两个字的空是相邻的，那么一个字的空是一样的）。我们需要讨论的问题是怎样测量一个发射信息的信道的容量。在电传的例子中，全部的码元持续时间都是一样的。32个码元的任一序列要求应答是比较简单的。每一个码元代表了信息的五个bit。如果一个系统每秒钟发送n个码元，那么很自然，这个信道拥有5n个bit每秒的容量。这个并不意味着电传信道总是以这个速率发送信息。最大可能速率或是实际所能达到最大速率都有信源是否能满足信道的情况而决定，这些稍后一些会出现。在那些更广泛的实例中，这些允许序列的码元长度和限制不一致。我们定义如下。定义：设离散信道容量C为log()limTNTCT这里的N(T)是持续时间为T允许信号的数量。显而易见，电传的N(T)减少至先前的结果水平。可以看出，在大多数的感兴趣实例中公式中的极限是作为有限数存在的。假设许可使用码元S1…Sn的全部序列，这些码元的持续时间为t1,...,tn。信道容量是什么？如果N(t)代表持续时间t的序列的数量。N(t)=N(t-t1)+N(t-t2)+...+N(t-tn)总数等于结束于S1…Sn的序列数量之和，各自的总数为N(t-t1),N(t-t2),...,N(t-tn)。根据众所周知的有限差分的结论，N(t)渐进t取大值时等于Xot，这里的Xo是特征方程最大实数解121ntttXXX因此：C=logX0在这个例子中，允许序列有一些限制，我们仍然可以得到此类一个差分方程，得到从特征方程得到C。电报例子通过上面指出：N(t)=N(t-2)+N(t-4)+N(t-5)+N(t-7)+N(t-8)+N(t-10)根据最后一个或者下个最后一个码元出现，通过计算码元的序列可以看出。因此，C是-logμ0，μ0是1=μ2+μ4+μ5+μ7+μ8+μ10的正解。解这方程，得出C=0.539。很多对于允许序列的通用限制如下：我们可以虚构出了很多可能的状态a1,a2,…,am。从S1…Sn集合总对于每个转台仅有一个特定码元用来发送。当其中一个被发送时，依据旧状态和特定被发送的码元的状况，状态变化为一个新的状态。电报就是这种情况简单的例子。根据是否有一个空来决定两种状态，这是最后一个发送的码元。假如这样的话，下一次仅发送有一个点或者破折号，那么这个状态是总是变化的。如果不是这样的话，发送任何一个码元，如果发送一西安工业大学陕西省光电测试与仪器技术重点实验室陈丁译5个空的话，状态是变化的，否则状态保持不变。如图1.2所示为通过一个点线图来表示状态。接连点表示状态，连线表示码元从一个状态到一个结果状态。图2电报码元限制描述图在附录1中所知，如果一个允许序列的状态可以用这个C形式来描述将是存在，可以联系下面结论来进行进行计算。定理1：设bij(s)为第从状态i转移至状态j第S个码元的持续时间。那么信道容量C等于logW,W是行列式方程最大实数解。()-0sijbijSW如果i=j,这里的δij=1，否则δij=0。例如，如图2的电报的例子。行列式为：2436241()0()(1)由上面的情况，在信号恢复状态下推导出这个方程。1.2信息的离散源我们可以看出在一般状态下，在一个离散信道中可能存在信号数量的对数随着时间线性增加。发送信息的容量可以用给定增长速率进行描述，比特/秒的数量可以描述所使用的特定信号。我们现在考虑一下信号源。一个信息源怎么通过数学的方式来描述，一个假设源能产生多少比特/秒的信息？比较有争议的主要观点是关于减少信道容量要求的信息源的统计学方面作用，可以使用合适信息编码技术。例如，在电报中的发送的消息时有字母组成的。但是这些序完全不是随机的。一般而言，字母可以形成段落，他们的组成具有统计学方面特征。字母E比Q出现概率要大，TH序列出现概率比XP要大等等。由于存在这种结构采用合适的编码是消息序列变为信号序列可以节约时间（或者信道容量）。可以采用最短信道码元来有限的扩容电报，一个点可以代替最常见英文字母E。而那些不太频繁出现的字母Q，X，Z可以用点和破折号的较长序列还表示。西安工业大学陕西省光电测试与仪器技术重点实验室陈丁译6我们可以这么认为一个离散源产生消息，用符号表征码元。我们可以根据先前的选择和问题中特定码元特定概率来进行选择。一个物理系统或者一个系统的数学模型由一个概率集合所约束产生如此一个系列码元序列，这就是众所周知的随机过程。因此，我们可以认为离散源可用一个随机过程来描述。反过来，任何一个从有限集合中选择产生的码元离散序列的随机过程都可以产生一个离散源。这将包含如下情况：1.一些自然书写语言如英语，德语，中文等。2.连续信息源通过量化处理方法表达为离散的。例如有PCM发射机量化后语音，或者量化电视信号。3.数学情况下，我们仅仅抽象地定义了随机过程可以产生一个序列的码元。下面是最新的一种信息源的例子。（A）假设我们有5个字母A，B，C，D，E，以相同的概率0.2从中选择出一个。连续的选择是独立的。下面是一个典型例子，这产生了一个序列。BDCBCECCCADCBDDAAECEEAABBDAEECACEEBAEECBCEAD这个使用了随机数表进行构造。（B）使用相同五个字母，设各自的概率为0.4,0.1,0.2,0.2,0.1，连续选择是独立的。从这源所产生典型的消息为：AAACDCBDCEAADADACEDAEADCABEDADDCECAAAAAD（C）如果连续的码元选择不是独立的，而且它们的概率依据前一个字母，那么得到这个结构将是更加复杂的。在最简单的情况下，选择仅仅基于前一个字母而不是后面的。这样统计结构可以用转移概率Pi(j)来描述，这是字母i伴随字母j之后出现的概率。指标