信息论第三版课后答案
【篇一：西电邓家先版信息论与编码第3章课后习题解
答】
6
x1
1/6
y1
3/4
1/4
x2
图3.1 二元信道
y2
?x??x1x2???=?0.60.4?通过一干扰信道，接收符号y=?y1y2?,信
道传递概率如p(x)????图3.33所示。求：
（1）信源x中事件x1,和x2分别含有的自信息。
（2）收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量。（3）信源x和信源y的信息熵。
（4）信道疑义度h（x|y）和噪声熵h（y|x）。（5）接收到消息
y后获得的平均互信息。
解：（1）由定义得：i（x1）= －log0.6=0.74bit
i（x2）= －log0.4=1.32bit
i（xi；xj）= i（xi）－i（xi|yj）=log[p（xi|yj）/p（xi）]
= log[p（yj|xi）/p（yj）]
则 i（x1；y1）= log[p（y1|x1）/p（y1）]=log5/6/0.8=0.059bit i （x1；y2）= log[p（y2|x2）/p（y2）]=log1/6/0.2=-0.263biti（x2；y1）= log[p（y1|x2）/p（y1）]=log3/4/0.8=-0.093bit i（x2；y2）
= log[p（y2|x2）/p（y2）]=log1/4/0.2=0.322bit
（3）由定义显然 h（x）=0.97095bit/符号
h（y）=0.72193bit/符号
（4）h（y|x）=
?
2
2
p（xy）log[1/p（y|x）]
=
??
i?1j?1
p（xi）p（yj|xi）log[1/p（yj|xi）]
h（x|y）= h（x）+h（y|x）－h（y）=0.9635bit/符号
(5) i（x；y）= h（x）－h（x|y）=0.00745 bit/符号
3.2设8个等概率分布的消息通过传递概率为p的bsc进行传送。
八个消息相应编成下述码字：
m1=0000, m2=0101, m3=0110, m4=0011, m5=1001, m6=1010, m7=1100, m8=1111, 试问 (1) 接受到第一个数字0与m之间的互
信息。
(2) 接受到第二个数字也是0时，得到多少关与m的附加互信息。
(3) 接受到第三个数字仍是0时，又增加多少关与m的互信息。(4) 接受到第四个数字还是0时，再增加了多少关与m的互信息。
解： (1 ) i(0;m1)= log[ p(0|m1)/p(0)]=1 bit
(2 ) i(00;m1)= log[ 1/p(00)]=2 bit2－1=1 bit(3 ) i(000;m1)=3 bit 3－2=1 bit(4 ) i(0000;m1)=4 bit4－3=1 bit
3.3 设二元对称信道的传递矩阵为
?2?3??1??3
1?3?? 2??3?
（1）若p(0)?3/4,p(1)?1/4，求h(x),h(x|y),h(y|x)和i(x;y)；（2）求该信道的信道容量及其达到信道容量时的输入概率分布。
解：（1）已知二元对称信道的传递矩阵，又已知输入的概率分布
p(0)?3/4,p(1)?1/4,
可以求得输出y的概率分别和后验概率。
p(y?0)??p(x)p(y?0|x)
x
?p(x?0)p(y?0|x?0)?p(x?1)p(y?0|x?1)
32117?????434312p(y?1)??p(x)p(y?1|x)
x
?p(x?0)p(y?1|x?0)?p(x?1)p(y?1|x?1) 31125?????434312
所以p(x?0|y?0)?
p(x?0)p(y?0|x?0)6
?
p(x)p(y?0|x)7x
p(x?1|y?0)?
p(x?1)p(y?0|x?1)1
?
p(x)p(y?0|x)7x
p(x?0|y?1)?
p(x?0)p(y?1|x?0)3
?
p(x)p(y?1|x)5
x
p(x?1|y?1)?
于是，h(x)??
p(x?1)p(y?1|x?1)2
?
p(x)p(y?1|x)5x
?p(x)logp(x)?0.811比特/符号
xx
y
h(x|y)????p(x)p(y|x)logp(x|y)
326111313122
?[??log??log??log??log]
437437435435?0.111?0.234?0.184?0.220?0.749比特/符号 h(y|x)????p(x)p(y|x)logp(y|x)
x
y
322111311122?[??log??log??log??log]
433433433433?0.918比特/符号
i(x;y)?h(x)?h(x|y)?0.062比特/符号
（2）此信道为二元对称信道，所以信道容量
2
c?1?h(p)?1?h()?0.082比特/符号
3
根据二元对称信道的性质可知，输入符号为等概率分布（即p(0)?p(1)?道的信息传输率才能达到这个信道容量值。
1
）时信2
解：
x2??x??x1?y??y1y2?
?p(x)???0.640.36?, ?p(y)???0.70.3? ????????
且p（x1∣y1）＝0.8 p(x2∣y1)=0.2 由p(x1)＝
p(y1)p(x1∣y1)+p(y2)p(x1∣y2) p(x2)＝
p(y1)p(x2∣y1)+p(y2)p(x2∣y2)
得p(x2∣y2)＝2.2/3 p(x1∣y2)＝0.8/3
