信息论与编码实验指导书
任课教师：刘亚荣
桂林理工大学电计系
Matlab基础：
1、变量不需指定类型，拿来就用；变量区分大小写
2、向量定义： x=[1/2, 1/4, 1/4](行向量); y=(0:360)*pi/180; 向量的转
置x’（列向量）
3、 .* ./ .^运算，逐个元素进行运算。例x1=[1/2, 1/4, 1/4], x2=[2, 4,
4]，则x1*x2没定义；x1*x2’有定义（=3）；x1.*x2有定义（逐元素相乘=[1,1,1]）
4、变量值显示：如果一行的后面没有分号，则显示出该行的变量结果。如a=3 显
示出a=3。
5、画图命令plot(x,y); x（向量）是一系列坐标， y（向量）是一系列值。
6、求和：sum(), 求积分：求微分：
符号微分
diff(f)——求f对自由变量的一阶微分
diff(f,v)——求f对符号变量v的一阶微分
diff(f,v,n)——求f对符号变量v求n阶微分
符号积分
int(f,v) ——求表达式f的对符号变量v的不定积分
int(f,v,a,b) ——求表达式f的对符号变量v的在(a,b)范围内定积分
7 M函数文件的基本结构
函数文件由function语句引导，其基本结构为：
function 输出形参表=函数名(输入形参表)
注释说明部分
函数体语句
说明：
(1)关于函数文件名: 函数文件名与函数名也可以不相同。当两者不同时，
MATLAB将忽略函数名而确认函数文件名，因此调用时使用函数文件名。
(2)关于注释说明部分。
注释说明包括三部分内容：①紧随函数文件引导行之后以%开头的第一注释行。②第一注释行及之后连续的注释行。③与在线帮助文本相隔一空行的注释行。
(3)关于return语句。
执行到该语句就结束函数的执行，程序流程转至调用该函数的位置。通常，在函数文件中也可不使用return语句，这时在被调函数执行完成后自动返回。
8显示图形
1、%plot函数绘制结果
t= 0:pi/100:2*pi; %定义数据点
y = sin(t);
plot(t,y) %显示图形
grid on %显示网格
xlabel('t'); %显示x轴的变量
ylabel('sin(t)'); %显示y 轴的变量
2、%plot 函数中x-y 副的使用
t = 0:pi/100:2*pi;
y = sin(t);
plot(t,y)
grid on
y2 = sin(t-0.25);
y3 = sin(t-0.5);
plot(t,y,t,y2,t,y3)
实验一：计算离散信源的熵
一、实验设备:
1、计算机
2、软件：Matlab
二、实验目的:
1、熟悉离散信源的特点；
2、学习仿真离散信源的方法
3、学习离散信源平均信息量的计算方法
4、熟悉 Matlab 编程；
三、实验内容:
1、写出计算自信息量的Matlab 程序
2、写出计算离散信源平均信息量的Matlab 程序。
3、掌握二元离散信源的最大信息量与概率的关系。
4、将程序在计算机上仿真实现，验证程序的正确性并完成习题。
四、实验报告要求
简要总结离散信源的特点及离散信源平均信息量的计算,写出习题的MATLAB 实现语句。
信息论基础：
自信息的计算公式 21()log a
I a p = Matlab 实现：I=log2(1/p) 或I=-log2(p) 熵（平均自信息）的计算公式
22111()log log q
q i i i i i i H x p p p p ====-∑∑ Matlab 实现：HX=sum(-x.*log2(x))；或者h=h-x(i)*log2(x(i));
习题：
1. 甲地天气预报构成的信源空间为：
1111(),,,8482
X p x ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦ 小雨 云 大雨晴 乙地信源空间为：
17(),88
Y p y ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦ 小雨晴 求此两个信源的熵。求各种天气的自信息量。
案：() 1.75;()0.5436H X H Y ==
2、某信息源的符号集由A 、B 、C 、D 、E 组成，设每一符号独立出现，其出现的概率分别为，1/4，1/8，1/8，3/16，5/16，试求该信源符号的平均信息量。 （答案：H(X) = 2.2272bit/符号）
3、设有四个消息分别以概率1/4，1/8，1/8，1/2传送，每一消息的出现是相互独立的。试计算其平均信息量。（答案：H(X) =1.75bit/符号）
4. 设一个二元信源（只有0和1两种符号）其概率空间为：
(),1X p x p p ⎡⎤⎡⎤=⎢⎥⎢⎥-⎣⎦⎣⎦
0 1 编程画出H 与p 的关系，并说明当P 呈什么分布时，平均信息量达到最大值。 （说明：H=-p.*log2(p)-(1-p).log2(1-p);）
实验二：验证熵的可加性与强可加性
1. 【例
2.6】
有一离散无记忆信源
123111(),,244a a a X p x ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦
验证二次扩展信源2X 的熵等于离散信源X 的熵的2倍，即
2()2()H X H X =
答案：2() 1.5;() 3.0H X H X ==
