信息量和熵

X ］「％,
"1
财)八，尸(％〉
其中，=
q-l
且 旗尸(%) = 1 /=0
, ••
N ™离散无记忆信源
次扩展信源
由离散无记忆信源输出N长的随机序列构成的信源。
X”
%, A "
P0 )J |_P(%),P(%),A ,P(气七)
N
其中/二(气％A 缶= 2 回口，(静‘2，A iN = O,1,A ,0 — 1)
计独 立信源的信息量等于它们分别的信息量之和。
• 一个以等概率出现的二进制码元(0,1)所包含的自信息量为:
1(0)= 1(1)= -log2 (l/2)=log22=l bits
•二进制码元0,1,当符号概率为p(0)=l/4, p(l)=3/4,
则这两个符号的自信息量为:
1(0) =-log2 (l/4)=log24= 2 bits 1(1) =-log2(3/4) =0.4151 bits
一次掷两个色子，求下列事件发生后提供的信息量。
a. 仅有一个为3； b. 至少有一个为4； c. 两个之和为偶数。
解：
一个色子有6个符号，X二{1,2, 3, 4, 5, 6},两个色子的总数为36。 a. 事件概率为5*2/36=5/18 b. 事件概率为(5X2+1) /36=11/36 c. 事件概率为6X3/36=1/2 则：I(a)=log( 18/5)= 1.848 (bits) I(b)=log(36/11)=1.7105 (bits) I(c)=log2=l (bits)
Review _____f
数字通信系统模型
消息 发送信号 接收信号 消息
信源
编码器
信道 干扰
噪声源
译码器
信宿
有效性、可靠性
2.1 Rflm源的数 及值息
测度
对信
i!邮fgf酷
不同的信源输出的消息的随机性质不同，可以根据消 息的 不同的随机性质来对信源进行分类:
按照某时刻信源输出消息的取值集合的离散性和连续 性,信 源可分为离散信源和连续信源。 按照信源输出消息的所对应的随机序列中随机变量前 后之 间有无依赖关系，信源可分为无记忆信源和有记忆 信源。 按照信源输出消息的所对应的随机序列的平稳性，信源 可 分为平稳信源和非平稳信源。
~
k=l
N
并满足：P(%)= P("上 A aiN) = Y[ P(6Z.)
k=l
£F(%) 二 I i=0
_o®
掷两枚硬币
%■ oT 10 11
—
P 1/4 1/2 1/4 1/4
其它几种常见信源
V离散平稳信源：输出的随机序列 X =(X1X2A XN) 中每个随机变量 XiQ = \A,N) 取值是离散的，并 且随机矢量X的各维概率分布不随时间平移
l
如果知道事件X,•已发生，则该事件所给出的信息量称为自信息，定义
K
为:
m
9) Tog。
1 = —log”(*)
P(*)
_
a>\
_ _
_
_
・/(X)含义
-当事件埠发生以前，表示事件X,发生的不确定 性
-当事件埠发生以后,表示事件七所含有的信息量
・/("单位
-常用对数底是2,信息量的单位为比特(bits)； -若取自然对数，则信息量的单位为奈特(nats);
V P(a.} = 1 的是信源整体；《代表信
8
源的某个元素。
简单信源
•连续信源：可能输出的消息数是无限的或不可 数的，每次只输出一个消息。
-数学模型：
率 p(x)」密度函数。
并满足 [p(x)Jx = l
Ja
注：这里的P(x)代表概
离散无记忆信源
离散信源在不同时刻发出的符号之间是无依赖的 彼此统计独立的。
1 nat=log2e = 1.433 bit,
对数换底关系:
或 log^X =log〃X・log 次
⑴/化）是非负值 ⑵当/?（*） = 1时，/化）=0
（3） 当冷）=。时，W）= 8 （4） /«）是先验概率p（£）的单调递减函数，即
当〃（X1）＞P（X2）时，/（%）＜/（尤2） （5） 两个独立事件的联合信息量等于它们分别的信息量之和，即统
简单信源
•离散信源：可能输出的消息是有限的或可数的, 每次只输出一个消息，即两两不相容。
•数学模型：
X 一 | 口0,6 , . . . , ^q-l j
X "1「％,
%, A ? dq-l
尸(x)」= "(%),尸(％),A , P(V1)_
且满足：0<尸(％)<1, 0<Z <^-l
qT
注：X代表随机变量，指
信源各个离散消息的自信息量的数学期望(即概率加权的 统计
平均值)为信源的平均信息量，称为信源的信息炳， 也叫信源
wenku.baidu.com
炳或香农炳，简称炳。
1
〃
H(X)二 E|73)] = E[log ^^] 二 —£p3)log p(Xj) P3) /=I
•:•炳函数的自变量是X表示信源整体，实质上是离散无 记
椅联合自信息量和条件自信息量关系
为）=一1华。0坊）
=-log 0（气）p（y,/x） = I （xz） + /（"气）
=—log w（y/）p0 / s）= /（为）+ /（也. / 为）
当X和Y独立时，
/（改为）=一 10g2 为）=一 kg2 P（Xj）p3j）
=-log2 P0） -log2 p{yj） = I（xi） + I（yj）
T联合自信息与条件自信息
考虑两个随机事件，其联合概率空间为
XV "l_f
，易用A ,与乂〃，人
P(XV)_| [p(砌),A
A ,p(x〃y
o K §£2。n3m坊）=1 i=l j=l
联合自信息量
/（兀为）=—log"（毛为）
条件自信息量
•在事件），J出现的条件下，随机事件壬发生的条件自信息量
/3/为)=一施 P3 /y»
而改变。
v连续平稳信源：输出的随机序列X = (XTX2A XN) 中每个随机变量 Xj(i = 14 ,N) 取值是连续的，并
且随机矢量X的各维概率密度函数不随时间平移而改变 v离散无记忆信源：离散信源在不同时刻发出的符号之间 是彼此统计独立的。
其它几种常见信源
•有记忆信源：输出的随机序列X中各随机变量之间有 依赖
关系，但记忆长度有限。 .:. 〃阶马尔可夫信源：信源每次发出的符号只与前，〃个
符号有关，与更前面的符号无关。 •随机波形信源：信源输出的消息在时间上和取值上都 是连
续的。
设单符号离散信源的概率空间为
X尸
玉， X29A , x〃 n
l _
_
3)
=
且满足：。＜ p（xz）＜ i9 22 /?（%,）= i /=!