- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
虑0，对的其它值发生的可能性也要加 以考虑，故要用( )进行综合。这样一 来，样本x1 , …, xn和参数 的联合分布为:
h(x1, x2 , …, xn, ) = p(x1, x2 , …, xn )( )，
这个联合分布把总体信息、样本信息和 先验信息三种可用信息都综合进去了；
课件优选
12
➢在没有样本信息时，人们只能依据先验分
• 为参数生成一个概率分布来对它们进行推导，
点估计和区间估计可以从这些分布得到
课件优选
6
批评1：置信区间
• 置信区间：
• 解释：区间[u1,u2]覆盖u的概率
•
不是u位于区间的概率
• 缺点：u不是变量
课件优选
7
批评2：评价方法
• 假设检验、参数估计等都是多次重复的结 果；
• 想知道：
– 一次实验发生的可能性
课件优选
8
回忆贝叶斯规则
• 亦称贝叶斯定理
f (y | x) f (x | y) f (y)
f (x | y) f ( y)dy
– 条件概率
• 利用贝叶斯规则将数据和参数的分布联
合起来
f ( | x) f (x | ) f ( )
f (x | ) f ( )d
课件优选
9
贝叶斯方法
贝叶斯推断的基本步骤如下：
其中事件A发生了X次，显然 X b(n, )，
即
P( X
x |)
n x
x
(1
)n
x
,
x 0,1, , n
假若我们在试验前对事件A没有什么了解，
从而对其发生的概率 也没有任何信息。在
这种场合，贝叶斯本人建议采用“同等无知”
的原则使用区间（0,1）上的均匀分布U(0,1)
作为 的先验分布，因为它取（0,1）上的每
– 但当参数比数据还多时，没有统计方法能跨 越自然的本质约束
– 即使先验知识选择得当，也只能对“过去” 预测很好，对将来不一定能预测很好
– You cannot get something for nothing. A little bit of data, will not help you to learn about a million dimensional, complex problem.
生分两步进行:首先从先验分布( )产生
一个样本0，然后从P (x |0)中产生一组
样本。这时样本的联合条件概率函数
为 p(x1, , xn | 0 ) ，n 这p(课x件个i |优选0分) 布综合了总体信
息和样本信息；i1
11
➢0 是未知的，它是按先验分布( )产生
的。为把先验信息综合进去，不能只考
• 从后验分布中得到点估计和区间估计。
课件优选
10
6.4.2 贝叶斯公式的密度函数形式
➢总体依赖于参数 的概率函数在贝叶斯统 计中记为P (x | )，它表示在随机变量θ
取某个给定值时总体的条件概率函数；
➢根据参数 的先验信息可确定先验分布 ( )；
➢从贝叶斯观点看，样本 x1, x2 , …, xn 的产
这个条件分布称为 的后验分布，它集中 了总体、样本和先验中有关 的一切信息。
后验分布( x1, x2 , …, xn )的计算公式就是
用密度函数表示的贝叶斯公式。它是用总
体和样本对先验分布( )作调整的结果，
贝叶斯统计的一切推断都基于后验分布进 行。
课件优选
14
6.4.3 贝叶斯估计
基于后验分布( x1, x2 , …, xn )对 所作的
贝叶斯估计有多种，常用有如下三种：
➢使用后验分布的密度函数最大值作为 的 点估计，称为最大后验估计；
➢使用后验分布的中位数作为 的点估计， 称为后验中位数估计；
➢使用后验分布的均值作为 的点估计，称
为后验期望估计。
用得最多的是后验期望估计，它一般也简
称为贝叶斯估计，课记件优为选 ˆB。
15
例6.4.2 设某事件A在一次试验中发生的概率 为 ，为估计 ，对试验进行了n次独立观测，
24
6.4.4 共轭先验分布
若后验分布( x)与( )属于同一个分布
族，则称该分布族是 的共轭先验分布
(族)。
➢ 二项分布b(n, )中的成功概率 的共轭先
验分布是贝塔分布Be(a,b)；
➢ 泊松分布P( )中的均值 的共轭先验分布 是伽玛分布Ga(,)；
➢ 在方差已知时，正态均值 的共轭先验分 布是正态分布N(, 2);
课件优选
27
综上所述
• 在参数模型中，当样本数目很多时，贝叶 斯方法和频率方法得到的近似相同的推理。 但通常二者的结果不同
• 贝叶斯方法和频率推理是为了解决不同的 问题
– 结合先验知识和数据：贝叶斯方法
– 构造长期稳定的性能（如置信区间）：频率方 法
课件优选
28
综上所述
• 当参数空间为高维时，通常采用贝叶斯方 法
是x1, x2 , …, xn 的边际概率函数，它与 无 关，不含 的任何信息。因此能用来对 作
出推断的仅是条件分布( x1, x2 , …, xn)，
它的计算公式是
( | x1,
,
xn
)
h(x1, 课,件x优n选, )
m(x1, , xn )
p(x1, , xn | ) ( ) 13 p(x1, , xn | ) ( )d
21
后验均值即为其贝叶斯估计：
ˆ
n
/
2 0
x
1/ 2
n
/
2 0
1/
2
n
/
2 0
1/
2
它是样本均值 与x 先验均值 的加权平均。
课件优选
22
例子： 正态分布
• 例：某圆形产品内径X（单位：mm）服从正态
分布N( ，0.4), 有先验分布N(2，0.22),现在测
量X=1.8,n=5
• MLE=1.8 • bayes=1.93
由此可以看到，在这些极端情况下，贝叶斯估计 比极大似然估计更符合人们的理念。
课件优选
18
例6.4.3 设x1, x2 , …, xn是来自正态分布
N(,02)的一个样本，其中02已知， 未 知，假设 的先验分布亦为正态分布 N( , 2)，其中先验均值和先验方差 2均 已知，试求 的贝叶斯估计。
解：样本x的分布和 的先验分布分别为
一点的机会均等。贝叶斯的这个建议被后人
称为贝叶斯假设。 课件优选
16
由此即可利用贝叶斯公式求出 的后验分布。具体 如下：先写出X和 的联合分布
然后求X的h边(x,际) 分 n布x x (1 )nx,
x 0,1, , n, 0 1
n
x
1
x
(1
)nx
d
0
n x
(x
1)(n (n 2)
布对 作出推断。在有了样本观察值 x1, x2 , …, xn 之后，则应依据 h(x1, x2 , …, xn , ) 对 作出推断。由于
h(x1,x2 ,…,xn , ) =(
x1,x2 ,…,xn )m(x1,x2 ,…,xn)，
其中 m(x1, , xn ) h(x1, , xn, )d p(x1, , xn | ) ( )d
• 条件分布： p(x1,x2,..xn | )
课件优选
5
贝叶斯学派的观点
机器学习和数据挖掘更偏爱贝叶斯推断
贝叶斯推断采取了另外一个不同的立场：
• 概率描述的是主观信念的程度，而不是频率。 这样除了对从随机变化产生的数据进行概率
描述外，我们还可以对其他事物进行概率描 述。
• 可以对各个参数进行概率描述，即使它们是 固定的常数。
p(
x
|
)
(2
2 0
)
n
/
2
exp
1
2
2
(2
2
)课1/件2 e优x选p
1
2 2
(
)2
19
由此可以写出x与 的联合分布
x h(
,
)
k1
exp
1 2
n
2
2n x
2 0
n i 1
xi2
2
2 2
2
其中 ， 。若记 x
1 n
n i 1
xi
k1
(2
)(n1) / 2
• 选择一个概率密度函数 f ( ) ，用来表示在取得 数据之前我们对某个参数 的信念。我们称之 为先验分布。
• 选择一个模型 f (x; )（在此处记为 f (x | ) ）
来反映在给定参数 情况下我们对x的信念。
• 当得到数据 X1, X2,…Xn 后，我们更新我们的信 念并且计算后验分布 f ( | X1,..., X n ) 。
• 统计过程应该具有定义良好的频率稳定性。如： 一个95％的置信区间应覆盖参数真实值至少95％ 的频率。
课件优选
4
几个学派（2）
• Bayesian学派：
• 带头人：Bayes,Laplace,Jeffreys,Robbins
• 观点：频率不只是概率
•
存在主观概率，和实体概率可转化
•
参数作为随机变量
课件优选
29
h(x,
)d
k1
exp
1 2
(C
B2
/
A)
(2
/
A)1/ 2
应用贝叶斯公式即可得到后验分布
(
|
x)
h(x, )
m(x)
(2
/
A)1/ 2
exp
1 2/ A
