[学习]多元正态分布及参数估计

2、分布函数的性质
① F (a1, a2,L , ap ) P(x1 a1, x2 a2,L xp ap ) 非
降的右连续函数；
2020/4/27
应用统计方法
4
② 分布函数的取值范围为[0，1]，即
0 F (a1, a2 ,L , ap ) 1
③ 分布函数当变量取值为无穷大时，函数值收敛到1，即
AE[(x )(x )]A AV (x)A
2020/4/27
应用统计方法
28
4、若(x1,x2,…，xp)’ 和(y1,y2,…，yp)分别 是p和q维随机向量，A和B为常数矩阵，则
Cov(Ax,By) ACov(x, y)B 证 Cov(Ax,By)
E{[(Ax AE(x)][(Bx BE(x)]}
1、定义
X
x21
x22
x2
q
x
p1
xp2
x
pq
是有随机变量构成的随机矩阵，定义X的数学 期望为
2020/4/27
应用统计方法
21
E(x11)
E
(X)
E(
x21 )
E(x12 ) E(x22)
E(xp1) E(xp2 )
E(x1q ) E(x2q )
E(xpq )
特别当时 q 1 ，便可得到随机向量 x (x1, x2, , xp ) 的数学期望为
1、问题的引入 若A和B是任意两个事件，且 P(B) 0 ，则称
P(A/ B) P(AB) / P(B)
为在B事件发生的条件下，事件A发生的条件概率。
考虑随机向量 x (x1, x2)，其中 x1 表示人的身高（单
位：米）， x2 表示人的体重（单位：公斤），在
身高为1.9米的人群中，体重 x2 的分布就再也不是
F(, ,L , ) 1
2020/4/27
应用统计方法
5
二、两个常用的离散多元分布
1、多项分布
若x (x1, x2, , xm )有如下分布
P(x1 k1, x2
k2,
, xm
km
)
n! k1!k2!
k
m
!
p k1 1
pkm m
其中0 pi 1， i 1,2, , m k1 k2 km n
f (x1,
, xq
| xq1,
,xp)
f (x1, x2 , , xp ) f(2) (xq1, , xp )
是 x(2) (xq1, xq2 , , xp )条件下，x(1) (x1, x2 , , xq )的分 条件密度函数。
2020/4/27
应用统计方法
15
例 设X=(x1,x2)’有概率密度函数
x (x1, x2, , xp )的协方差矩阵为
var( x1) cov( x1, x2 )
Var
(x)
cov(
x2 ,
x1
)
var( x2 )
cov( xp , x1) cov( xp , x2 )
2020/4/27
应用统计方法
cov( x1, xp ) cov( x2, xp )
2020/4/27
应用统计方法
23
二、协方差矩阵
1、定义：设 x (x1, x2, , xp )和 y ( y1, y2, , yq ) 分 别为 p 维和 q 维随机向量，则其协方差矩阵为
E
x1 x2
E(x1) E(x2 )
y1
E( y1)
xp E(xp )
y2 E( y2 )
f
(x1, x2 ,
, xp )
p x1x2
x p
F (x1, x2 ,
, xp )
且有1 F (x1, x2 , , xp ) 0
1
f (x1, x2 ,
xp )dx1 dxp 1
2020/4/27
应用统计方法
9
四、边缘分布
设有连续随机向量
x (x1, x2 , , xp )
不妨设 x(1) (x1, x2 , , xq ) 是 x (x1, x2, , xp ) 的q个分 量组成。则 x(1) (x1, x2, , xq )的分布为
19
3、设 x1,x2, ,xn 是 n 个随机向量，若
F(x1, x2, , xm ) F1(x1)F2 (x2 ) Fm (xm ) m n
对一切 x1,x2, ,xn 成立，则 x1,x2, ,xn 相互独立。
2020/4/27
应用统计方法
20
数字特征
一、数学期望
x11 x12 x1q
e2
1
2
x22
e2
(1
sin
x1
sin
x2 )dx2
f1 ( x1 )
1
2
x12
e2
1
2
x22
e 2 dx2
1
2
x12
e2
sin
x23
x1 e 2
sin
x2dx2
1
x12
e2
2
x1
同理
2020/4/27
f2 (x2 )
1
2
x22
e2
应用统计方法
x1
12
五、条件分布
应用统计方法
16
所以先求
f1 ( x1 )
01
6 5
x12 (4x1x2
1)dx2
6 5
x12
01 (4x1x2
1)dx2
12 5
x12
6 5
x12
同理
f2
(
x2
)
6 5
x2
2 5
2020/4/27
应用统计方法
17
f (x1 | x2 )
f (x1, x2 ) f2 (x2 )
6 5
x12
(x1, x2 )
1
2
x12 x22
e2
(1 sin
x1 sin
x2 )
试分别求 x1, x2 的边际密度。
f1(x1) f (x1, x2 )dx2
2020/4/27
应用统计方法
11
f1 ( x1 )
1
2
x12 x22
e2
(1
sin
x1
sin
x2 )dx2
f1 ( x1 )
1
2
x12
a1
ap
f (x1, x2 , xp )dx1 dxp
则称 x (x1, x2, , xp )为连续型随机向量。称
f (x1, x2 , , xp )
为的联合概率密度函数。
2020/4/27
应用统计方法
8
若 f (x1, x2, , xp ) 在点 (x1, x2, , xp )连续，则
第二章多元正态分布及参数 的估计
2020/4/27
1
§2.1 随机向量
本课程讨论多变量总体。把p个随机变量放在一起得 X ( X1, X 2 , X p ) 为一个p维随机向量，如果同def时 对p个变量做一次观测，得观测值：(x11, x12 , x1p ) X (1) , 它是一个样品，观测n次得n个样品：X (i) (xi1, xi2 , xip ), i 1,2, n, 而这n个样品就构成一个样本
F (x, y) Fx (x) Fy (y)
对一切 x 、y成立，则称 x 和 y 相互独立。
2、设 x 和 y是两个连续随机向量， x 和 y 相互
独立，当且仅当
f (x | y) fx (x) 或 F (x, y) Fx (x) Fy (y)
对一切 x
2020/4/27
、y
成立。 应用统计方法
cov(
x2 ,
yq
)
0
cov( xp , yq )
反之不成立
2020/4/27
应用统计方法
26
若(x1,x2,…，xp)’的分量相互独立, 则协方 差 矩阵， 除主对角线上的元素外均为零，即
var( x1)
0
Var
(x)
0
var( x2 )
0
0
0 0 var( xp )
2020/4/27
var( xp )
25
2、性质
1）若(x1,x2,…，xp)’ 和(y1,y2,…，yp)相互独 立。则
cov( x1, y1) cov( x1, y2 ) cov( x2, y1) cov( x2, y2 )
cov( xp , y1) cov( xp , y2 )
cov( x1, yq )
[ f (x1, x2 , xp )dxq1 dxp ]dx1 dxq
所以 x(1) (x1, x2, , xq )的边际密度为
f(1) (x1, , xq ) f (x1, x2 , xp )dxq1 dxp
例 随机向量 x (x1, x2)有联合概率密度
函数
f
E(x) (E(x1), E(x2 ), , E(xp ))
2020/4/27
应用统计方法
22
2、性质 1） 设为常数，则 E(aX) aE(X)； 2）设 A, B,C 分别为常数矩阵，则
E(AXB C) AE(X)B C
3）设 X1, X2, , Xn为 n 个同阶矩阵，则
E(X1 X2 Xn ) EX1 EX2 EXn
原来的分布了。而是在 x1 1.90 的条件分布。
2020/4/27
应用统计方法
13
2020/4/27
应用统计方法
14
2、条件分布 连续随机向量 x (x1, x2, , xp )
不妨设 x(1) (x1, x2 , , xq ) 是 x (x1, x2, , xp ) 的q 个分量组成。x(2) (xq1, xq2, , xp )是 余下的p-q个分 量组成。
yq
E(
yq
)
2020/4/27
应用统计方法
24
cov(
x1
,
y1
)
cov( x1, y2 )
cov(
x2 ,
y1
)
cov( x2, y2 )
cov( xp , y1) cov( xp , y2 )
cov(
x1
,
yq
)
cov(
x2 ,
yq
)
cov(
X
,Y
)
cov( xp , yq )
应用统计方法
27
2）随机向量X的协方差矩阵是非负定矩阵。 证：设a为任意与X有相同维数的常数向量，则
aa a[E(x )(x )]a
E[a(x )(x )a] E[a(x )]2 0
3）设A是常数矩阵，b为常数向量，则 V(AX+b)=AV(X)A’ ；
V (AX b)
E[(AX b) (A b)] [(AX b) (A b)]
AE[(x )(x )]B 5、若(k1,k2,…，kp)是n个不全为零的常数， (x1,x2,…，xp) 是相互独立的p维随机向量，则
(4x1x2
1)
6 5
x2
2 5
3x12 (4x1x2 1) 3x1 1
f (x2 | x1)
f (x1, x2 ) f2 (x2 )
6 5
x12
(4x1x2
1)
12 5
x22
6 5
x12
4x1x2 1 2x1 1
0 x1, x2 1
2020/4/27
应用统计方法
18
六、 独立性
1、定义 设 x 和 y 是两个随机向量，若
k1 k2 km n
N1 N2 Nm N
则
2020/4/27
x
( x1 ,
x2 ,
,
xm
)
服从多元超几何。
应用统计方法
7
三、联合概率密度
1、定义
随机向量 x (x1, x2, , xp ) 的联合分布函数可以表示为
F (a1, a2 , , ap ) P(x1 a1, x2 a2 , xp ap )
f (x1, x2 ) 56 x12 (x1x2 1) 0
0 x1 1,0 x2 1 其它
试求条件密度函数f(x1/x2）和f(x2/x1）。
因为
f (x1 | x2 )
f (x1, x2 ) f2 (x2 )
f (x2
| x1)
f (x1, x2 ) f1 ( x1 )
2020/4/27
p1 p2 pm 1
则称 x (x1, x2, , xm ) 服从多项分布。
2020/4/27
应用统计方法
6ห้องสมุดไป่ตู้
2、多元超几何分布
若x (x1, x2, , xm )有如下分布
N1 Nm
P( x1
k1, x2
k2 ,
, xm
km )
k1
km N
n
i 1,2, , m
ki 0,1, min(n, Ni )
F(1) (a1, a2 , , aq ) P(x1 a1, x2 a2 , xq aq )
P(x1 a1, x2 a2 , xq aq , xq1 , xp )
a1
aq
f (x1, x2 , xp )dx1 dxp
2020/4/27
应用统计方法
10
a1
aq
是一个p维随机向量。矩阵X的第j列表示第j个变量的n次
观测，在观测前是一个n维随机向量，而样本数据阵X
是一个随机阵。
2020/4/27
应用统计方法
3
随机向量的联合分布，边缘分布，条件分布
一、多元概率分布
1、联合分布函数 随机向量 x (x1, x2, , xp )的联合概率分布函数定义为
F (a1, a2,L , ap ) P(x1 a1, x2 a2,L xp ap )
2020/4/27
应用统计方法
2
常把n个样品排成一个n p矩阵，称为样本数据阵
x11 x12
记为：X
x21
x22
xn1
xn1
x1p
x2
p
def
X' (1)
X' (2)
xnp
X
' (n)
或def
(X1, X 2, X p ).
矩阵X的第i行表示第i个样品的观测值，在观测前，它