第4章习题
4-1 对信源⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡01.010.015.017.018.019.02.0s s s s s s s P S 7654321
进行二元编码，编码
方案为
（1）计算平均码长L ； （2）编码后信息传输率R ； （3）编码信息率R '； （4）编码效率η。 解：（1）()14.3L
s p L i
q
1
i i
=⋅=
∑=（码元/信源符号）
（2）()61.2S H =（比特/信源符号）
()831.014
.361
.2L S ===
H R （bit/码元） （3）logr L R ='=（ bit/信源符号） （4）831.0R R
max
==
η 或者()831.0R S H ='
=
η 4-2 设离散无记忆信源的概率空间为⎥⎥⎦
⎤
⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡414
3
s s S 21
P ，若对信源采取等长二元编码，要求编码效率96.0=η，允许译码错误概率5
10-≤δ，试计算需要的信源序列长度N 为多少
解：信源熵为
()81103
4
log 434log 41S .Η=+=
（bit/符号） 自信息量的方差
()()()[]
2
2
i q
1
i i 2
S H logp p S -=∑=σ4715.0811.041log 4143log 4322
2=-⎪⎭
⎫
⎝⎛+⎪⎭⎫ ⎝⎛= 因为编码效率96.0=η，由
()()ε
+=
S S H H η
可得
()3379.0811.096
.004
.0S H 1=⨯=
-=
η
η
ε 可得
()7
5
2221013.410
3379.04715.0S N ⨯=⨯=≥-δεσ 所以，信源序列长度达到7
1013.4⨯以上，才能实现给定的要求，因此等长编码没有实际的意义，一般统计编码都是采用不等长编码。
4-6设离散无记忆信源的概率空间为⎥⎦
⎤
⎢
⎣⎡=⎥⎦⎤⎢⎣⎡1.09.0s s S 21P ，对信源进行N 次扩展，采用霍
夫曼编码。当N=1，2，∞时的平均码长和编码效率为多少
解：
（1）N=1时，将1s 编成0，2s 编成1，则
1L 1=
又因为信源熵
()469.0))logp(s p(s S H q
1
i i i =-=∑=bit/符号
所以
()469.0L S H 1
1==
η （2）N=2时，编码过程如下
2
S 概
率
霍夫曼编码
1
1s s
1
2
1s s
01
1
2s s
000
2
2s s
001
所以
()=+⨯+⨯+⨯=0.090.0130.0920.811L 2
则
645.02
L 2
= 所以
()==
0.645
X H 2η （3）N=∞时，由香农第一定理可知，必然存在唯一可译码，使
()S H N L lim
r N
N =∞→
而霍夫曼编码为最佳码，即平均码长最短的码，故
()()469.0S H S H N L lim
r N
N ===∞→
即
1lim N N =∞
→η
4-7已知信源共7个符号消息，其概率空间为
()⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡01.010.015.017.018.019.02.0s s s s s s s x P S 7654321
试进行香农编码。并计算编码后的信息传输率和编码效率。
解：下面以消息5s 为例来介绍香农编码。
计算()74.215.log0og 5=-=-p l ，取整数3L 5=作为5s 的码长。计算
4321s ,s ,s ,s 的累加概率，有
74.017.018.019.02.0p P 4
1
k k 5=+++==∑=
将变换成二进制小数()()2101011110.074.0=，取小数点后面三位101作为5s 的代码。
信源熵： ()61.2))logp(s
p(s S H q
1
i i
i
=-
=∑=bit/符号
平均码长： ()i
q
1
i i
L
s p L ∑=⋅=14.3=码元/符号
信息传输率()831.014
.361
.2L S ===H R 编码效率：()
831.014
.361
.2L
S ==
=___
H η 4-8 已知信源
⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡0.150.20.20.225.0s s s s s P S 54321
用霍夫曼编码法编成二进制变长码，计算平均码长和编码效率。 解：
