信息论与编码试卷及答案

信息论与编码期末考试题信息论与编码期末考试题（一）一、判断题.1.当随机变量和相互独立时，条件熵等于信源熵.（）2.由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集.（）3.一般情况下，用变长编码得到的平均码长比定长编码大得多.（）4.只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信.（）5.各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件.（）6.连续信源和离散信源的熵都具有非负性.（）7.信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.8.汉明码是一种线性分组码.（）9.率失真函数的最小值是.（）10.必然事件和不可能事件的自信息量都是.（）二、填空题1、码的检、纠错能力取决于.2、信源编码的目的是；信道编码的目的是.3、把信息组原封不动地搬到码字前位的码就叫做.4、香农信息论中的三大极限定理是、、.5、设信道的输入与输出随机序列分别为和，则成立的条件..6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是.7、某二元信源，其失真矩阵，则该信源的= .三、计算题.1、某信源发送端有2种符号,；接收端有3种符号，转移概率矩阵为.（1）计算接收端的平均不确定度；（2）计算由于噪声产生的不确定度；（3）计算信道容量以及最佳入口分布.2、一阶马尔可夫信源的状态转移图如右图所示，信源的符号集为.（1）求信源平稳后的概率分布；（2）求此信源的熵；（3）近似地认为此信源为无记忆时，符号的概率分布为平稳分布.求近似信源的熵并与进行比较.3、设码符号为，信源空间为试构造一种三元紧致码.4、设二元线性分组码的生成矩阵为.（1）给出该码的一致校验矩阵，写出所有的陪集首和与之相对应的伴随式；（2）若接收矢量，试计算出其对应的伴随式并按照最小距离译码准则试着对其译码.（二）一、填空题1、信源编码的主要目的是，信道编码的主要目的是2、信源的剩余度主要来自两个方面，一是，二是3、三进制信源的最小熵为，最大熵为4、无失真信源编码的平均码长最小理论极限制为5、当时，信源与信道达到匹配。

篇一：信息论与编码期末题(全套)〔一〕7、某二元信源一、判断题共 10 小题，总分值 20 分.1. 当随机变量X和Y相互独立时，条件熵H(X|Y)等于信源熵H(X). 〔〕2. 由于构成同一空间的基底不是唯一的，所以不同的基1X0P(X)1/21/2，其失真矩阵0a，那么该信源的Dmax= Da0三、此题共 4 小题，总分值 50 分.1、某信源发送端有2种符号xi(i1,2),p(x1)a；接收端底或生成矩阵有可能生成同一码集.符号 y( j 1 ,2) ，转移概率矩阵为有3 种,3〔〕3.一般情况下，用变长编码得到的平均码长比定长编码大得多. 〔〕4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信〔〕 5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. 〔〕 6. 连续信源和离散信源的熵都具有非负性. 〔〕7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小. 8. 汉明码是一种线性分组码. 〔〕 9. 率失真函数的最小值是0. 〔〕10.必然事件和不可能事件的自信息量都是0. 〔〕二、填空题共 6 小题，总分值 20 分.1、码的检、纠错能力取决于 .2、信源编码的目的是的目的是 .3、把信息组原封不动地搬到码字前k位的(n,k)码就叫做 .4、香农信息论中的三大极限定理是、、. 5、设信道的输入与输出随机序列分别为X和Y，那么I(XN,YN)NI(X,Y)成立的条件6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 . iP1/21/201/21/41/4.〔1〕计算接收端的平均不确定度H(Y)；〔2〕计算由于噪声产生的不确定度H(Y|X)；〔3〕计算信道容量以及最正确入口分布. 2、一阶马尔可夫信源的状态转移图2-13图如右图所示，信源X的符号集为{0,1,2}. 〔1〕求信源平稳后的概率分布；〔2〕求此信源的熵；〔 3 〕近似地认为此信源为无记忆时，符号的概率分布为平 X )稳分布.求近似信源的熵H(并与H进行比拟.4 、设二元( 7 , 4 ) 线〔1〕给出该码的一致校验矩阵，写出所有的陪集首和与之相对应的伴随式；)，试计算出其对应的伴随式S并按照最小距离译码准那么试着对其译码. 〔二〕一、填空题〔共15分，每空1分〕1、信源编码的主要目的是，信道编码的主要目的是。

1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。

2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。

3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。

4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。

5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。

6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。

输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。

7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。

若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。

四、计算题1.已知(),X Y 的联合概率(),p x y 为： 求()H X ，()H Y ，(),H X Y ，();I X Y解: (0)2/3p x == (1)1/3p x == (0)1/3p y == (1)2/3p y == ()()(1/3,2/3)H X H Y H ===0.918 bit/symbol(),(1/3,1/3,1/3)H X Y H ==1.585 bit/symbol ();()()(,)I X Y H X H Y H X Y =+-=0.251 bit/symbol2.某系统（7，4）码)()(01201230123456c c c m m m m c c c c c c c ==c 其三位校验位与信息位的关系为：231013210210c m m m c m m m c m m m=++⎧⎪=++⎨⎪=++⎩ 01X Y011/31/301/3（1）求对应的生成矩阵和校验矩阵； （2）计算该码的最小距离；（3）列出可纠差错图案和对应的伴随式； （4）若接收码字R =1110011，求发码。

二、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。

给出这个只有两个符号的信源X的数学模型。

假设图上黑白消息出现前后没有关联，求熵；2）假设黑白消息出现前后有关联，其依赖关系为：，，，，求其熵；2.二元对称信道如图。

；1）若，，求和；2）求该信道的信道容量和最佳输入分布。

3.信源空间为，试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。

4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。

5.已知一（8，5）线性分组码的生成矩阵为。

求：1）输入为全00011和10100时该码的码字；2）最小码距。

6.设某一信号的信息传输率为5.6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。

试求：（1）无差错传输需要的最小输入功率是多少？（2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。

二、综合题（每题10分，共60分）1.答：1）信源模型为2）由得则2.答：1）2），最佳输入概率分布为等概率分布。

3.答：1）二元码的码字依序为：10，11，010，011，1010，1011，1000，1001。

平均码长，编码效率2）三元码的码字依序为：1，00，02，20，21，22，010，011。

平均码长，编码效率4.答：1）最小似然译码准则下，有，2）最大错误概率准则下，有，5.答：1）输入为00011时，码字为00011110；输入为10100时，码字为10100101。

2）6.答：1）无错传输时，有即则2）在时，最大熵对应的输入概率密度函数为信息论习题集二、填空（每空1分）（100道）1、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。

2、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

3、最大熵值为。

4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。

6、只要，当N足够长时，一定存在一种无失真编码。

7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。

9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。

按照信息的地位，可以把信息分成 客观信息和主观信息 。

人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。

信息的 可度量性 是建立信息论的基础。

统计度量 是信息度量最常用的方法。

熵 是香农信息论最基本最重要的概念。

事物的不确定度是用时间统计发生 概率的对数 来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。

12、自信息量的单位一般有 比特、奈特和哈特 。

13、必然事件的自信息是 0 。

14、不可能事件的自信息量是 ∞ 。

15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。

16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。

17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。

1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。

3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln（2 ⅇ 2））。

4.数据处理过程中信息具有（不增性）。

5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。

6.单符号连续信道的信道容量取决于（信噪比）。

7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。

8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。

9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。

10.立即码指的是（接收端收到一个完整的码字后可立即译码）。

11.算术编码是（非）分组码。

12.游程编码是（无）失真信源编码。

13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。

14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。

15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。

16.卷积码的自由距离决定了其（检错和纠错能力）。

（对）1、信息是指各个事物运动的状态及状态变化的方式。

（对）2、信息就是信息，既不是物质也不是能量。

（错）3、马尔可夫信源是离散无记忆信源。

（错）4、不可约的马尔可夫链一定是遍历的。

（对）5、单符号连续信源的绝对熵为无穷大。

（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。

（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。

1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。

3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。

4.数据处理过程中信息具有（不增性）。

5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。

6.单符号连续信道的信道容量取决于（信噪比）。

7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。

8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。

9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。

10.立即码指的是（接收端收到一个完整的码字后可立即译码）。

11.算术编码是（非）分组码。

12.游程编码是（无）失真信源编码。

13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。

14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。

15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。

16.卷积码的自由距离决定了其（检错和纠错能力）。

（对）1、信息是指各个事物运动的状态及状态变化的方式。

（对）2、信息就是信息，既不是物质也不是能量。

（错）3、马尔可夫信源是离散无记忆信源。

（错）4、不可约的马尔可夫链一定是遍历的。

（对）5、单符号连续信源的绝对熵为无穷大。

（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。

（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。

一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

（2）必然事件的自信息是 0 。

（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。

（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。

（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。

（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。

（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。

（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。

（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。

假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分）I(A|B)=-log0.375=1.42bit （1分）四、（5'）证明：平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明：()()()()()()()()()()Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i XYi j i j i -=⎥⎦⎤⎢⎣⎡---==∑∑∑∑∑∑log log log; （2分）同理()()()X Y H Y H Y X I -=; （1分） 则()()()Y X I Y H X Y H ;-= 因为()()()X Y H X H XY H += （1分） 故()()()()Y X I Y H X H XY H ;-+=即()()()()XY H Y H X H Y X I -+=; （1分）五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：1） 黑色出现的概率为0.3，白色出现的概率为0.7。

《信息论基础》参考答案一、填空题（共15分，每空1分）1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。

2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。

3、三进制信源的最小熵为0，最大熵为32log bit/符号。

4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。

5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。

6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。

7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。

8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()222xf x σ-=时，信源具有最大熵，其值为值21log 22e πσ。

9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。

（2）()()1222H X X H X =≥()()12333H X X X H X =（3）假设信道输入用X 表示，信道输出用Y 表示。

在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。

二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。

()1,2640,x f x ⎧≤≤⎪=⎨⎪⎩其它()()()62log f x f x dx ∴=-⎰相对熵h x=2bit/自由度 该信源的绝对熵为无穷大。

三、（16分）已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分）（2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。

信 息 论 与 编 码 考题与标准答案第一题 选择题1．信息是（ b ）a. 是事物运动状态或存在方式的描述b.是事物运动状态或存在方式的不确定性的描述c.消息、文字、图象d.信号 2．下列表达式哪一个是正确的（e ）a. H (X /Y )=H (Y /X )b. )();(0Y H Y X I <≤c.)/()(),(X Y H X H Y X I -=d. )()/(Y H Y X H ≤e. H (XY )=H (X )+H (Y /X )3．离散信源序列长度为L ，其序列熵可以表示为（ b ）a. )()(1X LH X H =b.c. ∑==Ll lXH X H 1)()(d. )()(X H X H L =4.若代表信源的N 维随机变量的取值被限制在一定的范围之内，则连续信源为（ c ），具有最大熵。

a. 指数分布b. 正态分布c. 均匀分布d. 泊松分布 5．对于平均互信息);(Y X I ，下列说法正确的是（ b ）a. 当)(i x p 一定时，是信道传递概率)(i j x y p 的上凸函数，存在极大值b. 当)(i x p 一定时，是信道传递概率)(i j x y p 的下凸函数，存在极小值c.当)(i j x y p 一定时，是先验概率)(i x p 的上凸函数，存在极小值d.当)(i j x y p 一定时，是先验概率)(i x p 的下凸函数，存在极小值 6．当信道输入呈（ c ）分布时，强对称离散信道能够传输最大的平均信息量，即达到信道容量 a. 均匀分布 b. 固定分布 c. 等概率分布 d. 正态分布7.当信道为高斯加性连续信道时，可以通过以下哪些方法提高抗干扰性（b d ） a. 减小带宽 b. 增大发射功率 c. 减小发射功率 d.增加带宽第二题 设信源 ⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡6.04.0)(21x x X p X 通过一干扰信道，接收符号为Y={y 1,y 2}，信道传递矩阵为⎥⎦⎤⎢⎣⎡43416165 求：(1) 信源 X 中事件 x 1 和 x 2 分别含有的自信息量。

最大熵值为组成一个马尔可夫链，且有，。

说明经数据处理后，一般只会增加信息的损失。

，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于由得，则解释无失真变长信源编码定理。

只要，当什么是保真度准则？对二元信源，其失真矩阵，求和？答：，所以有，而。

息出现前后没有关联，求熵；）假设黑白消息出现前后有关联，其依赖关系为：，，，，求其熵；）信源模型为）由得则）若，，求和；）），最佳输入概率分布为等概率分布。

信源空间为答：1）二元码的码字依序为：10，11，010，011，1010，1011，1000，1001。

平均码长，编码效率2）三元码的码字依序为：1，00，02，20，21，22，010，011。

平均码长，编码效率4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。

答：1）最小似然译码准则下，有，2）最大错误概率准则下，有，5.已知一（8，5）线性分组码的生成矩阵为。

求：1）输入为全00011和10100时该码的码字；2）最小码距。

6.设某一信号的信息传输率为5.6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。

试求：（1）无差错传输需要的最小输入功率是多少？（2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。

7.答：1）无错传输时，有即则2）在时，最大熵对应的输入概率密度函数为2）最大错误概率准则下，有，6.答：1）无错传输时，有即则2）在时，最大熵对应的输入概率密度函数为。

专升本《信息论与编码》_试卷_答案专升本《信息论与编码》⼀、（共48题,共150分）1. H(X)____________0，⼩概率事件对熵的贡献____________，确定事件的信息量____________0。

（6分）标准答案：1. >= ;2. ⼩;3. =;2. 确定信道的H(Y/X) ____0，H(X/Y) ____0。

（4分）标准答案：1. =;2. ;3. 霍夫曼编码可以编出不同的码，这些码的平均码长________，.编码效率________，码长⽅差________。

（6分）标准答案：1. ⼀样;2. ⼀样;3. 不⼀定⼀样;4. N个独⽴并联的信道，每个信道的信道容量为C，为了达到总的信道容量NC，所有信道的输⼊要________________，.所有信道的输⼊概率分布是各⾃信道的________________。

（4分）标准答案：1. 相互独⽴;2. 最佳分布;5. 通信系统中的编码器包括____________________，____________________，____________________。

（6分）标准答案：1. 信源编码器;2. 纠错编码器;3. 调制器;6. 率失真函数R（D）的最⼤值为________________，最⼩值为________________。

（4分）标准答案：1. H(X);2. 0;7. 某事件的概率为p(x)，则⾃信息量为（）。

（2分）A.-p(x)B.1/ p(x)C.-log p(x)D.log p(x)标准答案：C8. 有事件x，y，I(x)=2 bit，I(x/y)=1 bit，则互信息量I(x；y)的值为（）。

（2分）A.1 bitB.2 bitC.3 bitD.4 bit标准答案：A9. 下列关于条件熵的结论，不成⽴的是（）（2分）A.H(X/Y)C.H(X/Y)标准答案：B10. 使I(X;Y)=0成⽴的条件是（）: （2分）A.X和Y相互独⽴B.H (X) =H(Y)C.X和Y的概率分布相同标准答案：A11. 以下关于离散⽆记忆信源（熵为H(X)）的结论，不正确的是（）: （2分）A.是平稳信源B.其N次⽆记忆扩展信源的熵是NH(X)C.其极限熵⼤于H(X)标准答案：C12. 以下关于信道容量C和信息传输率R间的关系，正确的是（）: （2分）A.C RB.C=RC.C R 标准答案：A13. 某信源有8个符号，其信源熵为2.4 bit，进⾏⼆元定长编码（不扩展），则其编码效率⾄少可达（）（2分）A.80%B.85%C.90%D.95%标准答案：A14. 在准对称信道中，要达到信道容量，要求（）: （2分）A.信源和信宿的概率分布⼀致B.信源为等概分布C.信宿为等概分布标准答案：B15. 在信道编码中，简单重复编码可以（）: （2分）A.减⼩但降低了信息传输率B.提⾼了信息传输率，但增⼤了PEC.减⼩并提⾼了信息传输率标准答案：A16. ⼆元码C={(000),(011),(101),(110)，该码的最⼩码距是（）:。

信息论与编码试题集与答案1. 在⽆失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。

2. 要使通信系统做到传输信息有效、可靠和保密，必须⾸先信源编码，然后_____加密____编码，再______信道_____编码，最后送⼊信道。

3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的⾹农公式是log(1)C W SNR =+；当归⼀化信道容量C/W 趋近于零时，也即信道完全丧失了通信能⼒，此时E b /N 0为 -1.6 dB ，我们将它称作⾹农限，是⼀切编码⽅式所能达到的理论极限。

4. 保密系统的密钥量越⼩，密钥熵H (K )就越⼩，其密⽂中含有的关于明⽂的信息量I (M ；C )就越⼤。

5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。

6. 设输⼊符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。

输⼊信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001??；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010??。

7. 已知⽤户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。

若⽤户B 向⽤户A 发送m =2的加密消息，则该加密后的消息为 8 。

⼆、判断题1. 可以⽤克劳夫特不等式作为唯⼀可译码存在的判据。

（√ ）2. 线性码⼀定包含全零码。

（√ ）3. 算术编码是⼀种⽆失真的分组信源编码，其基本思想是将⼀定精度数值作为序列的编码，是以另外⼀种形式实现的最佳统计匹配编码。

一、（11'）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

（2）必然事件的自信息是0 。

（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍.（4）对于离散无记忆信源,当信源熵有最大值时，满足条件为__信源符号等概分布_。

（5）若一离散无记忆信源的信源熵H(X）等于2.5,对信源进行等长的无失真二进制编码，则编码长度至少为3 。

（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。

（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。

（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大,使译码错误概率任意小。

（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、(5'）居住在某地区的女孩中有25％是大学生，在女大学生中有75%是身高1。

6米以上的,而女孩中身高1。

6米以上的占总数的一半。

假如我们得知“身高1。

6米以上的某女孩是大学生”的消息，问获得多少信息量?解:设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件,则P(A)=0。

25 p（B)=0.5 p(B|A）=0。

75 （2分）故 p（A｜B)=p（AB)/p(B）=p(A）p（B｜A）/p(B）=0.75*0。

25/0。

5=0。

375 (2分）I（A|B）=—log0.375=1。

42bit （1分)四、(5'）证明：平均互信息量同信息熵之间满足I(X；Y)=H(X）+H(Y）—H（XY)证明：(2分)同理（1分）则因为（1分）故即（1分）五、（18')。

黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0。

一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

3、最大熵值为。

4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。

6、只要，当N足够长时，一定存在一种无失真编码。

7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。

9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。

按照信息的地位，可以把信息分成客观信息和主观信息。

人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。

信息的可度量性是建立信息论的基础。

统计度量是信息度量最常用的方法。

熵是香农信息论最基本最重要的概念。

事物的不确定度是用时间统计发生概率的对数来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。

12、自信息量的单位一般有 比特、奈特和哈特 。

13、必然事件的自信息是 0 。

14、不可能事件的自信息量是 ∞ 。

15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。

16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。

17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。

18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。

一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

3、最大熵值为。

4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。

6、只要，当N足够长时，一定存在一种无失真编码。

7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。

9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。

按照信息的地位，可以把信息分成客观信息和主观信息。

人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。

信息的可度量性是建立信息论的基础。

统计度量是信息度量最常用的方法。

熵是香农信息论最基本最重要的概念。

事物的不确定度是用时间统计发生概率的对数来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。

12、自信息量的单位一般有 比特、奈特和哈特 。

13、必然事件的自信息是 0 。

14、不可能事件的自信息量是 ∞ 。

15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。

16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。

17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。

18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。

信息论与编码试题集与答案（新）Word版一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

3、最大熵值为。

4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。

6、只要，当N足够长时，一定存在一种无失真编码。

7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。

9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。

按照信息的地位，可以把信息分成客观信息和主观信息。

人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。

信息的可度量性是建立信息论的基础。

统计度量是信息度量最常用的方法。

熵是香农信息论最基本最重要的概念。

事物的不确定度是用时间统计发生概率的对数来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。

12、自信息量的单位一般有比特、奈特和哈特。

13、必然事件的自信息是 0 。

14、不可能事件的自信息量是∞ 。

15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。

16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。

17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。

信息论与编码试卷及答案2篇一：信息论与编码试卷及答案一、概念简答题（每题5分，共40分）1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？2.简述最大离散熵定理。

对于一个有m个符号的离散信源，其最大熵是多少？3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

5.写出香农公式，并说明其物理意义。

当信道带宽为5000Hz，信噪比为30dB时求信道容量。

6.解释无失真变长信源编码定理。

7.解释有噪信道编码定理。

8.什么是保真度准则？对二元信源时率失真函数的和？，其失真矩阵，求a>0二、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为，白色出现的概率为。

给出这个只有两个符号的信源X的数学模型。

假设图上黑白消息出现前后没有关联，求熵；2）假设黑白消息出现前后有关联，其依赖关系为：，，求其熵；，，2.二元对称信道如图。

；1）若，，求和；2）求该信道的信道容量和最佳输入分布。

3.信源空间为曼码，计算其平均码长和编码效率。

，试分别构造二元和三元霍夫4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。

5.已知一（8，5）线性分组码的生成矩阵为。

求：1）输入为全00011和10100时该码的码字；2）最小码距。

6.设某一信号的信息传输率为/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。

试求：（1）无差错传输需要的最小输入功率是多少？（2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。

一、概念简答题（每题5分，共40分）1.答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。