信息论实验
姓名：邓梅学号：2013090102030
实验一：信息度量方法
1.实验目的：
本实验通过计算给定的信源的熵，加深对信源及其扩展信源的熵的概念的理解
2.实验原理：
信源熵是信源的统计平均不确定性的描述，是概率p(x)的函数
3.实验内容：
有两个二元随机变量X,Y，他们的联合概率呈一定分布，同时定义另一随机变量Z=X*Y，求相关熵，条件熵及互信息
实验二：哈夫曼编码
1.实验目的：
掌握哈弗曼编码的原理及编码步骤
2.实验原理：
①把信源发出的n个消息按其概率递减次序排列
②把概率最小的两个消息分别编成“1”和“0”码元(即把概率较大的消息编为“1”，概率较小的消息编为“0”；或反之也可),并对这两个消息求概率之和
③把上述的概率和作为一个新消息的概率，再与原来的其他消息按概率递减的次序排列
④重复上述编码步骤②与③，直到概率和是1为止
⑤从最终的编码步骤，在各个消息编码方向线的逆行程顺序地取下所编出的码元，构成相对的代码组
3.实验内容：
根据哈弗曼算法为某一信源进行哈弗曼编码，并计算其平均码长和编码效率
相关程序及结果：（1）信源熵程序及结果
（2）哈弗曼编码程序：
运行结果：
直接调用MATLAB中Huffman函数现实如下
直接调用的结果：
实验结论：
通过本次实验，我对信源熵的概念更加了解了，同时也对MATLAB的应用更加熟练，尽管还有很多不足之处。在哈弗曼实验中，对矩阵的一些循环处理还不是很会，需要求助网络和相关资料书，接下来的学习时间中会加强对MATLAB的练习，
