信息论与编码教学大纲

《信息论与编码》课程教学大纲一、课程名称1．中文名称：信息论与编码2．英文名称：Information Theory and Coding二、课程概况课程类别：专业选修课学时数：36学分数：2适用专业：通信工程、电子信息工程等专业开课学期：第一学期开课单位：信息工程学院电子信息工程系三、大纲编写人：张露四、教学目的及要求•教学目的：通过本课程向学生介绍信息科学的基础理论和基本方法，使学生掌握信息理论的基础和编码理论。

•教学要求：掌握信息论的基本原理、编码理论和实现方法，主要包括：绪论、离散信源及其信息测度、离散信道及其信道容量、无失真信源编码、有噪信道编码、波形信源和波形信道。

本课程以概率论为基础，数学推导较多，教学时主要关注学生对概念的理解，不过分追求数学细节的推导。

注意帮助学生理解各个概念的含义和作用，结合其他课程理解它的意义。

注重培养学生的独立思考能力。

五、课程主要内容及先修课程•主要内容：1)绪论: 信息的概念，信息论研究的对象、目的和内容，信息论的发展简史与现状2)离散信源及其信息测度：信息的数学模型及分类，离散信源的信息熵，信息熵的基本性质，离散无记忆的扩展信源，离散平衡信源，马尔可夫信源，信息冗余度与自然语言的熵3)离散信道及其信道容量：信道的数学模型及分类，平均互信息，平均互信息的特性，信道容量及其一般计算方法，离散无记忆扩展信道及其信道容量，信源与信道的匹配4)无失真信源编码：码的分类，等长信源编码定理，变长信源编码定理，香农编码，费诺编码，霍夫曼编码，游程编码、算术编码、冗长编码5)有噪信道编码：错误概率与译码规则，错误概率与编码方法，有噪信道编码定理，联合信源信道编码定理，纠错编码的基本思想，常用编码方法6)波形信源和波形信道：波形信源的统计特性和离散化，连续信源和信源的信息测度，具有最大熵的连续信源，连续信道和波形信道的分类，连续信道和波形信道的信息传输率，连续信道和波形信道的信道容量，连续信道编码定理•先修课程《概率论》和《通信原理》六、课程教学方法《信息论与编码》理论性较强，授课时应根据学生的基础，采用PPT和板书推导相结合的教学方式。

《信息论与编码》课程教学大纲一、课程基本信息课程代码：16052603课程名称：信息论与编码英文名称：Information Theory and Coding课程类别：专业课学时：48学分：3适用对象:信息与计算科学考核方式：考试先修课程：数学分析、高等代数、概率论二、课程简介《信息论与编码》是信息科学类专业本科生必修的专业理论课程。

通过本课程的学习，学生将了解和掌握信息度量和信道容量的基本概念、信源和信道特性、编码理论等，为以后深入学习信息与通信类课程、为将来从事信息处理方面的实际工作打下基础。

本课程的主要内容包括：信息的度量、信源和信源熵、信道及信道容量、无失真信源编码、有噪信道编码等。

Information Theory and Coding is a compulsory professional theory course for undergraduates in information science. Through this course, students will understand and master the basic concepts of information measurement and channel capacity, source and channel characteristics, coding theory, etc., lay the foundation for the future in-depth study of information and communication courses, for the future to engage in information processing in the actual work.The main contents of this course include: information measurement, source and source entropy, channel and channel capacity, distortion-free source coding, noisy channel coding, etc。

信息论与编码实验
Experiment of Information Theory and Coding Technology
一、课程基本情况
课程总学时：32学时
实验总学时：6学时
学分：2学分
开课学期：第5学期
课程性质：必修
对应理论课程：信息论与编码
适用专业：通信工程、电子信息工程
教材：傅祖芸编著，信息论—基础理论与应用, 电子工业出版社，2003
开课院系：电子与信息工程学院通信工程系
二、实验课程的教学目标和任务
信息论是由Shannon奠基的一门学科，它产生于有效而可靠的通信问题中，并获得了广泛应用。

通过本课程的学习，使学生对信息理论有一个比较全面和系统的了解，掌握信息论的基本概念和信息论方法，为从事信息科学的研究和应用打下一个坚实的基础。

本课程为通信工程专业的必修课程，要求学生掌握信息论的基本理论和概念，如熵、互信息熵、自信息量等。

掌握信源编码的基本方法（失真编码和无失真编码）。

掌握有噪声信道编码相关的基本概念，了解有噪声信道的纠错码的基本思想和方法。

三、实验课程的内容和要求
四、课程考核
（1）实验报告的撰写要求：按照学校格式要求，展示个人实验过程与结果，严禁抄袭。

（2）实验报告：3次
（3）考核及成绩评定：根据学生实验后所完成的实验报告，按优、良、中、差评定成绩。

五、参考书目
周荫清，信息理论基础，北京航空航天大学出版社，2012年
姜丹，信息论与编码，中国科学技术大学出版社，2004年
张宏基，信源编码原理，北京邮电大学出版社，2003年。

《信息论与编码》教学大纲一课程简介课程编号：04254002课程名称：信息论与编码 Informatics & Coding课程类型：基础课必修课学时：32 学分：2开课学期：第六学期开课对象：通信、电子专业先修课程：概率论与数理统计、信号与系统、随机信号原理。

参考教材：信息论与编码，陈运，周亮，陈新，电子工业出版社，2002年8月二课程性质、目的与任务信息论在理论上指出了建立最佳编码、最佳调制和最佳接收方法的最佳系统的理论原则，它对通信体制和通信系统的研究具有指导意义。

提高信息传输的可靠性和有效性始终是通信工作所追求的目标。

因此，信息论与编码是从事通信、电子系统工程的有关工程技术人员都必须掌握的基本理论知识。

内容提要：本课程包括狭义相对论和提高通信可靠性的差错控制编码理论。

信息论所研究的主要问题是在通信系统设计中如何实现有效性和可靠性。

三教学基本内容与基本要求本课程总学时为32。

其中理论教学为28，实验学时为4。

主要的理论教学内容包括：离散信源和连续信源的熵、条件熵、联合熵和平均互信息量的概念及性质；峰值功率受限和平均功率受限下的最大熵定理和连续信源熵的变换；变长码的霍夫曼编码方法，熟悉编码效率和平均码长的计算；最大后验概率准则和最大似然译码准则等。

实验内容主要包括：离散无记忆信道容量的迭代算法，循环码的编译码。

四教学内容与学时分配第3章离散信源无失真编码第6章网络信息论（教学要求：A—熟练掌握； B—掌握； C—了解）五实习、实验项目及学时分配1．离散无记忆信道容量的迭代算法 2学时要求用Matlab编写计算离散信道容量的实用程序并调试成功，加深对信道容量的理解。

2．循环码的编译码 2学时要求用Matlab编写程序，用软件完成循环码的编译码算法。

六教学方法与手段常规教学与多媒体教学相结合。

七参考书目1、信息论:基础理论与应用，傅祖芸，电子工业出版社，2001年2、信息理论基础，周荫清，北京航空航天大学出版社，2002年3、信息论与编码，陈运，周亮，陈新，电子工业出版社，2002年8月4、信息论与编码，曹雪虹，张余橙，北京邮电大学出版社，2001年8月八大纲编写的依据与说明本课程大纲是根据通信工程专业本科生培养目标和要求，参考网络查询的多个兄弟院校本课程教学大纲，结合本课程的性质、要求和实际学时制定，并经学院教学委员会审定。

教学大纲课程编号：0121016课程总学时：46学时先修课程：概率论与随机过程开课院系：通信工程学院学分：3学分课程性质：必修开课学期：第五学期适用专业：通信工程、电子信息工程、信息安全一、课程的基本要求以及在教学计划中的地位与作用应掌握数字通信系统的基本原理和理论，掌握无失真信源编码的编码方法及信道编码的基本概念和编译码方法。

该课程属通信学科的专业基础课程，是更好掌握其它专业课的必备基础。

二、课程内容和学时分配1、引论：通信系统模型、Shannon信息论的中心问题（2学时）。

2、信息量和熵：离散随机变量的熵、平均互信息，连续随机变量的互信息和相对熵、互信息和相对熵，互信息的凸性（10学时）。

3、离散信源无失真编码：离散无记忆源的等长编码与不等长编码，Huffman编码，算术编码，LZ编码（12学时）。

4、信道容量：离散无记忆信道、组合信道、时间离散无记忆、连续信道、波形信道（8学时）。

5、离散信道编码定理（4学时）。

6、信道编码：线性分组码（8学时）。

7、总结及发展：（2学时）。

三、教材与参考书目[1] 王育民、梁传甲编著《信息与编码理论》，西北电讯工程学院出版社，1986[2] 王新梅肖国镇编著，《纠错码——原理与方法》，西安电子科技大学出版社[3] 吴伟陵编著《信息处理与编码》，人民邮电出版社，1999[4] 姜丹等编著《信息理论与编码》，中国科学技术大学出版社，1992[5] 周炯槃著《信息论基础》，人民邮电出版社，1983[6] [美]林舒、科斯特洛著，王育民、王新梅译，《差错控制编码、基础与应用》，人民邮电出版社[7] 王新梅编著，《纠错码与差错控制》，人民邮电出版社。

信息论与编码教学大纲信息论与编码教学大纲信息论与编码是计算机科学领域中的重要学科，它涉及到信息的传输、存储和处理等方面的理论和方法。

信息论与编码的教学大纲是为了帮助学生系统地学习和掌握这一领域的基本原理和技术，从而为他们在实际应用中解决问题提供理论基础和实践能力。

一、引言信息论与编码是近代科学的一个重要分支，它起源于通信领域的需求。

随着信息技术的快速发展，信息论与编码的理论和方法在现代社会中的应用越来越广泛。

本课程的目标是让学生了解信息论与编码的基本概念和原理，掌握常用的编码和解码技术，以及应用信息论与编码解决实际问题的能力。

二、信息论基础1. 信息的概念和度量：介绍信息的定义和度量方法，包括信息熵、条件熵、互信息等基本概念。

2. 信源和信道：介绍信源和信道的基本概念，以及它们之间的关系。

3. 香农定理：介绍香农定理的基本内容和应用，包括信道容量的计算方法。

三、编码与解码1. 基本编码方法：介绍基本的编码方法，包括霍夫曼编码、香农-费诺编码等。

2. 常用编码技术：介绍常用的编码技术，包括哈夫曼编码、算术编码、游程编码等。

3. 常见解码方法：介绍常见的解码方法，包括最大似然解码、Viterbi解码等。

四、信息论在通信中的应用1. 信道编码：介绍信道编码的基本原理和常用方法，包括奇偶校验码、循环冗余校验码等。

2. 无线通信中的编码：介绍无线通信中的编码技术，包括调制解调、编码和解码等。

3. 数据压缩：介绍数据压缩的基本原理和方法，包括无损压缩和有损压缩等。

五、信息论在数据存储中的应用1. 磁盘存储：介绍磁盘存储中的编码技术，包括磁盘阵列编码、磁盘数据恢复等。

2. 数据库存储：介绍数据库存储中的编码技术，包括索引编码、压缩编码等。

六、信息论在图像处理中的应用1. 数字图像编码：介绍数字图像编码的基本原理和方法，包括JPEG、PNG等常用编码格式。

2. 图像压缩：介绍图像压缩的基本原理和方法，包括变换编码、预测编码等。

《信息论与编码》课程教学大纲Information Theory & Codec.一、课程教学目标1、性质和地位：信息论与编码是通信工程（与计算机通信）专业的一门重要的专业课。

该课程是继通信原理与程控交换之后，为从事通信信息的编码研究学习而开设的专业必修或选修课。

2、知识要求：本课程的教学目的是通过教学和必要的练习、实践环节，使学生了解信息论的信源、信源炳概念，熟悉信源、信道编码定理，掌握一些重要的编码方法，为将来从事通信信息资源研发应用打好必要的基础。

3、能力要求：除课堂学习理论知识之外，通过练习与实践掌握一些常用的编码定理与编码方法，加深对信息论编码与通信可靠性、安全性的关系的认识。

二、教学原则和基本要求本课程教学采用课堂讲授与课外作业为主，以必要实习、实践（4~8学时）为辅的方法教学，通过本课程学习应达到如下基本要求：1.了解信息论信源炳重要基本概念；2.了解信息论的信源、信道编码定理；3.掌握信源炳的计算；4.掌握无失真信源最佳编码法（香农码、费诺码、哈夫曼码）；5.掌握限失真信源常用编码法；6.了解几种信道差错编码及密码编码原理与方法。

三、教学内容和学时分配1.总体安排：本课程授课时间为48学时，3学分。

具体授课内容与学时列表分配如下: 教学内容章目本课程学分：3学时分配讲课学时课堂讨论编程实习合计第一章绪论1第二章信源及信源嫡8第三章无失真信源编码72第四章限失真信源编码9第五章信道编码132第六章密码学6合计444482.具体要求：第一章绪论［目的要求］了解信息论的发展及通信系统的模型。

［教学内容］信息论的发展，通信系统的模型。

［重点难点］无。

［教学方法］课堂教学。

［作业］无。

［课时］1学时第二章信源及信源炳［目的要求］了解信源的信息量与嫡的概念，掌握信源炳的计算。

［教学内容］信源的描述分类，离散信源的炳和互信息，连续信源的炳和互信息, 离散序列信源的炳，冗余度。

［重点难点］自信息量、互信息，炳的计算。

《信息论与编码》教学大纲一、课程基本信息1．课程代码：219054002．课程中文名称：信息论与编码A课程英文名称：（Information Theory and code A）3．面向对象：信息工程专业4．开课学院（课部）、系（中心、室）：信息工程学院信息工程系5．总学时数：48讲课学时数：40 ，实验学时数：86．学分数： 37．授课语种：中文，考试语种：中文8．教材：《信息论与编码》（第二版），陈运，电子工业出版社;二、课程内容简介《信息论与编码》重点介绍由香农理论发展而来的信息论的基本理论以及编码的理论和实现原理。

本课程在介绍了有关信息度量的基础上，重点讨论了信道容量、率失真函数，以及无失真信源编码、限失真信源编码和信道编码中的理论知识及其实现原理。

迄今为止香农理论已经广泛的成为各项信息技术的理论指导。

三、课程的地位、作用和教学目标信息论是信息学科的数学基础，是所有从事信息学科的工程技术及研究人员必须掌握的一门基础课。

这门课从信息的最本质、最基础的基本概念和基本原理着手，主要介绍香农信息论的基本概念和香农有名的三大定理，以及编码理论和纠错编码。

从而为各种具体的信息技术提供了理论基础。

本课程要求在建立了熵的概念的基础上，重点掌握信道容量、率失真函数，以及无失真信源编码、限失真信源编码和信道编码中的理论知识及其实现原理。

四、与本课程相联系的其他课程在本专业，高等数学A、线性代数A、概率论与数理统计A可以作为本课程的先修课程。

五、教学基本要求1．学习和掌握信源熵、条件熵、联合熵等各种熵的概念、意义、性质，以及它们之间的相互关系；2．学习和掌握离散无失真信源编码定理；3．学习和掌握信道模型、信道容量及其计算；4．学习和掌握信道编码定理；5．学习和掌握离散信源的信息率失真函数及其性质、保真度准则下的信源编码定理；6．学习和了解离散信源编码、连续信源编码方法；7．学习和掌握信道编码方法：线性分组码和循环码；六、考核方式与评价结构比例考核方式：笔试平时成绩：作业10%+实验10%+考勤10%期末考试成绩：70%-60%七、教学参考资料1．《信息论与信源编码理论及应用》，刘建成著，北京邮电大学出版社，20102．《信息论与编码》，曹雪虹著，清华大学出版社3．《Information Theory & Coding》(英文版)(21世纪高等院校规划教材)，梁建武等编著，水利水电出版社，2008。