信息论导论期末(电子科大)

书中：1.信息科学，材料科学，能源科学仪器被称为当代的“三大支柱”。

2.带宽与数据传输速率信道带宽与数据传输速率的关系可以奈奎斯特(Nyquist)准则与香农(Shanon)定律描述。

奈奎斯特准则指出：如果间隔为π/ω(ω=2πf),通过理想通信信道传输窄脉冲信号，则前后码元之间不产生相互窜扰。

因此，对于二进制数据信号的最大数据传输速率Rmax 与通信信道带宽B （B=f,单位Hz)的关系可以写为：Rmax ＝2.f(bps)；对于二进制数据若信道带宽B=f=3000Hz ，则最大数据传输速率为6000bps 。

香农定理则描述了有限带宽、有随机热噪声信道的最大传输速率与信道带宽、信噪比之间的关系。

香农定理指出：在有随机热噪声的信道上传输数据信号时，数据传输速率Rmax 与信道带宽B 、信噪比S/N 的关系为： Rmax ＝B.log2(1+S/N)3.自信息量的性质：非负性、必然事件信息量为0、不可能事件信息量为无穷、信息量是概率的单调递减函数。

4.当X 和Y 相互独立时，互信息为0.5.信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的量度。

6信源熵H(X)与信息率R 和信道容量C 的关系：不论何种信道，只要信息率R 小鱼信道容量C ，总能找到一种编码，能在信道上以任意小的错误概率和任意接近于C 的传输率来传送信息。

反之，若R>C,则传输总要产生失真。

又由无失真信源编码定理可知，要做到几乎无失真信源编码，信息率R 必须大于信源熵H （X ）。

故三者的关系为：H(x)<=R<=C7.保真度准则下的信源编码定理：即译码平均失真度大于允许失真度。

8.香农三个基本编码定理：无失真信源编码定理、信道编码定理和限失真信源编码定理。

三个基本概念：信源熵、信道容量和信息率失真函数。

9.信源编码、信道编码和安全编码信源编码是以提高通信有效性为目的的编码。

通常通过压缩信源的沉余度来实现。

A．信息技术复习题一、单选题1．关于信息，以下说法不正确的是（ C ）。

A．信息是有价值的 B．信息能减少对事物认识的不确定性C．信息具有滞后性 D．信息具有不可转换性2．查询信息在信息处理中所属于的阶段是（ C ）。

A．输入 B．加工 C．输出 D．输入和输出3．信息技术的发展趋势不会是（ A ）。

A．应用的复杂化 B．传输的高速化 C．信息的多媒体化 D．网络化4．对于信息社会，以下说法不正确的是（ C ）。

A．信息成为社会发展的重要资源 B．人们可以十分方便地获取各种资源C．人们都生活在虚拟的信息空间中 D．信息产业成为国民经济的重要产业5．直接获取信息的途径是（ B ）。

A．看电视 B．从事科学研究 C．听广播 D．上网浏览6．在信息处理过程中，以下属于数值信息处理的过程是（ C ）。

A．用Word制作一张小报 B．用扫描仪扫描一张图片C．用计算机解方程 D．用计算机录制一段声音7.信息技术的英文缩写是（ A ）。

A．IT B．IE C．OS D．I/O8．计算机与（ D ）是信息处理的核心。

A．电视机 B．传真机 C．打印机 D．网络9．现代计算机所采用的存储程序原理是由（ C ）提出的。

A．图灵 B．布尔 C．冯·诺依曼 D．爱因斯坦10．通常认为，第一台电子计算机诞生于（ A ）。

A．1946 B．1948 C．1950 D．195211．计算机发展阶段的划分是以（ C ）作为标志的。

A．程序设计语言 B．存储器 C．逻辑元件 D．运算速度12．第一代计算机主要采用（ B ）元器件。

A．晶体管 B．电子管 C．中小规模集成电路 D．超大规模集成电路13．计算机软件系统包括（ C ）。

A．编辑软件和连接程序 B．数据库软件和管理软件C．系统软件和应用软件 D．程序和数据14．在计算机硬件系统中，用于实施算术运算和逻辑判断的主要部件是（ A ）。

A．运算器 B．控制器 C．存储器 D．显示器15．以下不属于应用软件的是（ A ）。

信息论复习题期末答案1. 信息论的创始人是谁？答案：信息论的创始人是克劳德·香农。

2. 信息熵的概念是什么？答案：信息熵是衡量信息量的一个指标，它描述了信息的不确定性或随机性。

在信息论中，熵越高，信息的不确定性越大。

3. 请简述信源编码定理。

答案：信源编码定理指出，对于一个具有确定概率分布的离散无记忆信源，存在一种编码方式，使得信源的平均编码长度接近信源熵的值，且当信源长度趋于无穷大时，编码长度与信源熵之间的差距趋于零。

4. 什么是信道容量？答案：信道容量是指在特定的通信信道中，能够以任意小的错误概率传输信息的最大速率。

它是信道的最大信息传输率，通常用比特每秒（bps）来表示。

5. 香农公式是如何定义信道容量的？答案：香农公式定义信道容量为信道输入和输出之间的互信息量的最大值，可以表示为C = B log2(1 + S/N)，其中C是信道容量，B是信道带宽，S是信号功率，N是噪声功率。

6. 差错控制编码的目的是什么？答案：差错控制编码的目的是为了检测和纠正在数据传输过程中可能发生的错误，以提高数据传输的可靠性。

7. 什么是线性码？答案：线性码是一种特殊的编码方式，其中任意两个合法编码的线性组合仍然是一个合法编码。

线性码通常可以用生成矩阵和校验矩阵来表示。

8. 卷积码和块码有什么区别？答案：卷积码和块码都是差错控制编码的类型，但它们的主要区别在于编码的结构和处理方式。

卷积码是连续的，其编码过程是按时间序列进行的，而块码是离散的，其编码过程是针对数据块进行的。

9. 什么是信道编码定理？答案：信道编码定理指出，对于任何给定的信道和任何小于信道容量的错误概率，都存在一种编码方式，可以使得错误概率趋近于零。

10. 请解释什么是信道编码的译码算法。

答案：信道编码的译码算法是一种用于从接收到的编码信号中恢复原始信息的方法。

常见的译码算法包括维特比算法、最大似然译码和最小均方误差译码等。

这些算法旨在最小化译码错误的概率。

北京信息科技大学2017~2018学年第1学期《信息论与编码》课程期末考试试卷A 卷参考答案课程所在学院：信息与通信工程 适用专业班级：电信1501/2/3/4，14级重修 考试形式：(开卷)注：所有试题均答在试卷上,计算题精确到小数点后4位（或保留4位有效数字）。

一、填空题（本题满分22分，共11个小题，每小题2分）1. 码{1101,0010,0101,1100}的最小汉明距离是 1 。

2. 码{110,001,010,111，000， 11} 满足 （填满足或不满足）克拉夫特不等式，它 不是 （填是或不是）唯一可译码。

3. 设信源概率分布为()0.50.30.2=p ，失真矩阵为⎪⎪⎪⎭⎫ ⎝⎛=0.11110.11110.1d ，则最小失真=min D 0.1 ，最大失真=max D 0.55 。

4. 设信道矩阵为⎪⎪⎭⎫⎝⎛=0.10.90.90.1p ，则其信道容量为 0.5310bit 。

5. 设某连续信源的平均功率为2.5，则其熵功率不可能是 8 （任意写出一个不可能的正的数值）。

6.设线性分组码的校验矩阵为⎪⎪⎪⎭⎫⎝⎛=10111010101001011H ，则其生成矩阵为⎪⎪⎪⎭⎫⎝⎛=11010101010111001G 。

7. 设信道矩阵为⎪⎪⎪⎪⎪⎭⎫⎝⎛=10100101p ，则其信道容量为 1bit 。

8. 设信道矩阵为⎪⎪⎪⎭⎫ ⎝⎛=1000000.50.5000000.50.5p ，则其信道容量为 1.585bit 。

9. 设信源的信息熵为2.5bit ，对此信源进行二进制无失真等长编码，则编码长度最小是 3 。

10. 设信道的信道容量为10Mbit/s ，则在10秒内能可靠传输的最大信息量是 100 Mbit 。

11. 设率失真函数R （0.5）=0.8bit ，若编码信息率为0.79bit ，则这时的失真一定 大于 0.5（从大于、大于等于、等于、小于等于、小于中选择一个恰当的词填空）。

电子科技大学二零零 六 至二零零 七 学年第 二 学期期 末 考试《信息论导论》 课程考试题 A 卷 （ 120 分钟） 考试形式： 开卷 考试日期 200 7 年 7 月 12 日课程成绩构成：平时 20 分， 期中 0 分， 实验 0 分， 期末 80 分一、简述：（每小题5分，共10分） 1、香农信息论的研究内容；2、离散信道信道容量的一般计算步骤。

二、用拉格朗日乘子法证明离散信源的最大熵定理：lbn )X (H ≤。

（10分）三、三元一阶马尔科夫信源的状态图如图所示，求该信源的极限熵∞H 。

（10分）四、已知信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡2.08.010)X (P X ；对该信源的三次扩展信源编二进制哈夫曼码，并求编码效率η。

（10分）五、已知信道矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=8.002.02.08.0002.08.0)X /Y (P ；①证明该信道为对称信道；②求该信道的信道容量C ，并说明达到信道容量时信源的概率分布)X (P 。

（10分） （1）因为信道矩阵具有可排列性。

（2）m=3，C=log3+0.8log0.8+0.2log0.2六、已知(5,2)线性分组码的校验矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011001101010001H ；①求生成矩阵G 及编出的码字54321C C C C C ；②求码字第二位在传输中出错，即22C R ≠时，接收端出现的错误标志321S S S 。

（10分）七、已知高斯加性信道的信噪功率比为dB 30，每帧图片的像素点为786432，灰度等级为256；求每秒传输25帧图片所需的带宽W 。

（10分） 10log 10Px/Pn=30八、已知信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡6.04.010)X (P X ，失真矩阵⎥⎦⎤⎢⎣⎡=0110]D [；①求失真度D 的取值范围；②求失真度2.0D =时的实验信道)X /Y (P D ；③求失真度D 分别为0、0.2、0.4时该信源的信息率失真函数)D (R 。

信息论导论参考资料作者 龙非池第一章 概论● 在认识论层次研究信息时，把只考虑到形式因素的部分称为语法信息， 把只考虑到含义因素的部分称为语义信息；把只考虑到效用因素的部分称为语用信息。

目前，信息论中主要研究语法信息● 归纳起来，香农信息论的研究内容包括： 1) 信息熵、信道容量和信息率失真函数2) 无失真信源编码定理、信道编码定理和保真度准则下的信源编码定理 3) 信源编码、信道编码理论与方法● 一般认为，一般信息论的研究内容除香农信息论的研究内容外，还包括 维纳的微弱信号检测理论：包括噪声理论、信号滤波与预测、统计检测与估计理论、调制理论等。

信息科学以信息为研究对象，信息科学以信息运动规律为研究内容，信 息运动包括获取、传递、存储、处理和施用等环节。

第二章 离散信源及离散熵● 单符号离散信源的数学模型：1212()()()()n n x x x X P x P x P x P X ⎧⎫⎡⎤=⎨⎬⎢⎥⎣⎦⎩⎭自信息量：()log ()i x i I x P x =-，是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特(bit,binary unit)；对数底为e 时，其单位为奈特(nat,nature unit)；对数底为10时，其单位为哈特(Hart, Hartley)自信息量性质：I(x i )是随机量；I(x i )是非负值；I(x i )是P(x i )的单调递减函数。

● 单符号离散信源的离散熵：1()[()]()()ni i i i H X E I x P x lbP x ===-∑，单位是比特/符号(bit/symbol)。

离散熵的性质和定理：H(X)的非负性；H(X)的上凸性； 最大离散熵定理：()H X lbn ≤● 如果除概率分布相同外，直到N 维的各维联合概率分布也都与时间起点 无关，即：111111()()()()()()k l k k l l k k k N l l l N P X P X P X X P X X P X X X P X X X ++++-++-===则称该多符号离散信源为N 维离散平稳信源。

仲恺农业工程学院电子信息工程导论(专升本)复习题课程名称：电子信息工程导论(专升本)1.(单选题)多级放大器级间耦合时要注意静态工作点匹配的是( )方式。

(本题1.0分)A.变压器耦合B.电容耦合C.阻容耦合D.直接耦合答案：D.解析：无.2.(单选题)组合逻辑电路设计的关键是( )(本题1.0分)A.写逻辑表达式B.表达式化简C.列真值表D.画逻辑图答案：A.解析：无.3.(单选题)( )电路中各级的静态工作点相互独立,互不影响,但不能用于直流或缓慢变化信号的放大。

(本题1.0分)A.直接耦合B.变压器耦合C.阻容耦合D.光电耦合答案：C.解析：无.4.(单选题)与甲类功率放大方式相比,乙类互补对称功放的主要优点是( )。

(本题1.0分)A.不用输出变压器B.不用输出端大电容C.效率高D.无交越失真答案：C.解析：无.5.(单选题)三极管处于放大状态时,三极管的发射结和集电结分别处于( )(本题1.0分)A.发射结和集电结都处于正偏B.发射结处于正偏,集电结处于反偏C.发射结处于反偏,集电结处于正偏D.发射结和集电结都处于反偏答案：B.解析：无.6.(单选题)二极管两端加上正向电压时( )(本题1.0分)A.一定导通B.超过死区电压才能导通C.超过0.7伏才导通D.超过0.3伏才导通答案：B.解析：无.7.(单选题)NPN PNP 三极管作放大器时,其发射结( )。

(本题1.0分)A.均反向电压B.均正向电压C.仅NPN 管反向电压D.仅PNP 管反向电压答案：B.解析：无.8.(单选题)要得到一个Ri 大,Ro 小的阻抗变换电路,应选择( )负反馈电路。

(本题1.0分)A.电压串联B.电压并联C.电流串联D.电流并联答案：A.解析：无.9.(单选题)PN 结加正向电压时,空间电荷区将( ) 。

(本题1.0分)A.变窄B.基本不变C.变宽D.无法确定答案：A.解析：无.10.(单选题)整流的目是( )。

信息论与编码_杭州电子科技大学中国大学mooc课后章节答案期末考试题库2023年1.【图片】该信道的信道容量是（）bit/符号。

参考答案:log4-H(1/3,1/3,1/6,1/6);2.对于离散无记忆平稳信源的N次扩展信源，其熵为扩展前信源熵的N倍。

参考答案:正确3.对应对称的DMC信道，当输入呈什么分布时，信道到达信道容量。

参考答案:等概率分布4.在X-Y-Z的信息传递中，信息不增性原理表示为I(X;Z)>=I(Y;Z)。

参考答案:错误5.信道容量随信源输出的概率分布的变化而变化。

参考答案:错误6.已知8个码组为（000000）、（001110）、（010101）、（011011）、（100011）、（101101）、（110110）、（111000），若只用于检错，可检测出（）位错码。

参考答案:27.突发差错始终以相等的概率独立发生于各码字、各码元、各比特。

参考答案:错误8.(7,3)码的监督矩阵有3行，生成矩阵有4行。

参考答案:错误9.根据香农容量公式可知，通过增大带宽可以无限的提高信道容量，只是提高的速度会变慢参考答案:错误10.二进制对称信道中，当信道转移概率中正确、错误的概率相等时，此信道不能传递信息。

参考答案:正确11.某信道输入熵为H(X)，输出熵为H(Y)，若信道为无噪有损信道，其容量为H(X)。

参考答案:正确12.连续信源限峰值条件下正态分布具有最大熵。

参考答案:错误13.关于信息熵在通信系统中的描述，以下错误的是（）。

参考答案:条件熵H(X|Y)可以看作是信道上的干扰和噪声使接收端获得Y之后对X还有的平均不确定度，又称为噪声熵。

14.必然事件和不可能事件的自信息量都是0 。

参考答案:错误15.通常所说的符号差错概率（误码元率）是指信号差错概率，而误比特率是指信息差错概率。

参考答案:正确16.当离散信源输出服从（）分布时，其熵为最大参考答案:等概率分布17.信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。

安徽大学2011—2012学年第1学期 《信息论》考试试卷参考答案（AB 合卷）一、 填空题 1、()(;)log()()p xy I x y p x p y =；2、事物运动状态或存在方式的不确定性的描述；3、(|)log(|)(|)p xy z p x z p y z ；4、信源 编码器 信道 译码器 信宿；5、保密性 认证性；6、0.72；7、 ， ；8、(;)C I X Y - ；9、4.6 ； 10、0H ≥1H ≥4H ≥6H ≥∞H ； 11、()()1log log N L H S H S r N r N≤<+； 12、()f x 在q F 上不可约； 13、()g x |1n x -； 14、2F 、22F 、32F 、42F 、62F 、122F ； 15、8，4.二、判断题1、╳2、√3、√4、╳5、╳6、√7、√8、╳9、 ╳三、计算题 1、解：1111()log log 12222H X =--=1()log24H Y =-= 1()log 38H Z =-=当Z Y X ,,为统计独立时：()()()()1236H XYZ H X H Y H Z =++=++=2、解：二次扩展信源为2111213212223313233,,,,,,,,411111111,,,,,,,,9999363693636x x x x x x x x x x x x x x x x x x X P ⎡⎤⎡⎤=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦信源熵：22HX H X =（）（）22112log 2log )3366=-+⨯（=2log3-2/3比特/二符号 3、解：1）信道到矩阵为1/31/61/31/61/61/31/61/3P ⎛⎫= ⎪⎝⎭，故此信道为对称信道1111log 4(,,,)3636C H =-5l o g 33=-（比特/符号）相应的最佳输入概率分布为等概率分布。

（2）信道到矩阵为1/21/31/61/61/21/31/31/61/2P ⎛⎫ ⎪= ⎪ ⎪⎝⎭，故此信道为对称信道111l o g 3(,,)236C H =-12log 323=- （比特/符号） 相应的最佳输入概率分布为等概率分布。