多元线性回归及相关分析

r12 r11 r22 r R (rij ) M M 21 r M 1 rM 2 第二步：求得其逆矩阵： c12 c11 c 22 c R 1 (c ij ) M M 21 c M M 1 c 2

一个m元线性回归方程可给定为：
ˆ y a b1 x1 b2 x2 bm xm
a是x1，x2，…，xm 都为0时y 的点估计值；b1是by1· 23…m 的 简写，它是在x2，x3，…，xm 皆保持一定时，x1 每增加一个单
位对y的效应，称为x2，x3，…，xm 不变(取常量)时x1 对y 的偏
1.多元相关分析

多元相关或复相关(multiple correlation)：在M=m+1个变量中，m个自变
量和1个依变量的总相关。

多元相关系数(multiple correlation coefficient)：在m个自变量和1个依变 量的多元相关中，多元相关系数记作 Ry/12…m ，读作依变量y和m个自变 量的多元相关系数。
Uy/12…m=b1SP1y+b2SP2y+...+bmSPmy
（2）多元线性回归方程的假设检验
建立回归方程后，须分析依变量Y与这m个自变量之间
是否确有线性回归关系，可用F检验。
(F-检验)显著性检验一般步骤：
1.提出假设:H0:β1=β2=...=βm=0;HA:β1,β2,...βm不全为0 2.选择适合检验的统计量
回归系数(partial regression coefficient) 。
a y b1x1 b2 x 2 ... bmxm
用矩阵表示为：

令
y1 1 y2 1 ym 1
= y1 y2 ym
F 检验
bi2 c ii
U Pi
Upi就是y对xi的偏回归平方和，df=1。
因此：
F
U Pi Q y/12m /[n (m 1)]
Why？
1.F检验与t检验的结果一致 2.Up1+Up2+Up3≠Uy/123
二、 多元相关和偏相关
1
多元相关分析
2
偏相关

偏相关与简单相关的关系
0 0
i2
b b x b x x ˆ ˆ ˆ
0 1 i1 m im

im
0
整理得：
2 ˆ ˆ ˆ xi1 b1 xi1 xi 2 b2 xi1 xim bm xi1 yi ˆ1 xi22 b2 xi 2 xim bm xi 2 yi ˆ ˆ xi1 xi 2 b 2 ˆ1 xi（m1）xim bm1 xim bm xim yi ˆ ˆ xi1 xim b
一个m元线性回归总体的线性模型为：

Yi 0 X 0 1 X 1i 2 X 2i m X mi i
其中，εi～N( 0，σ2 )，i=1,2，...，n。

一个m元线性回归的样本观察值组成为：
yi a b1 x1i b2 x2i bm xmi ei
2
F
2
df1(1 R 2 )
R =
1
α
df 1Fα
df 2

F 检验 ： 其中的df1 =m，df2=n-(m+1)，R2为Ry/12…m的简写。 多元相关系数的显著性与多元回归方程的显著性 一致，即R显著，多元回归方程必显著。对同一
2.偏相关

偏相关(partial correlation)：在其余M-2个变量 皆固定时，指定的两个变量间的相关。

偏相关系数(partial correlation coefficient)：表示 在其它M-2个变量都保持一定时，指定的两个变
量间相关的密切程度。

偏相关系数以r 加右下标表示。如有X1、X2、X3 3个变量，则r12·表示X3变数保持一定时，X1和 3
偏相关的解法
第一步：由简单相关系数rij(i，j=1，2，…，M )组成的相关矩阵：
偏相关系数的假设检验（t检验）
检验的假设为： H0：ρij = 0 ；对HA： ρij≠0。该检 验的t具有 df=n-M=n-m-1。
t rij · nM
2 1 rij ·
t 2 r （n - M） t 2
3.偏相关与简单相关的关系

当要排除其他变量干扰，研究两个变量间单独的关系时采用偏相关与 偏回归；
x11 x12 x1n

x m1 b1 x m 2 b2 b x mn m
b1 b2 b m
e1 e2 em
Ry/12 … m = U y/12m SS y 1 Q y/12m SS y
多元相关系数为多元回归平方和与总变异平方和之比的平方根。 .` . Ry/12…m的存在区间为[0，1]。

令总体的多元相关系数为ρ，则对多元相关系数 的假设检验为H0R ：ρ=0 ；对HA：ρ≠0。 df F df
用矩阵表示为：
若系数矩阵用A表示，未知元矩阵用b表示，常数矩 阵用K表示，则上式可写为： Ab=K
A-1？
b=A-1K
建立直线回归方程的步骤
Goal！
假设检验 对方程进行说明 直线回归方程 计算a和b 5个二级数据 6个一级数据
表解法
3.多元线性回归的假设检验
（1）多元线性回归方程的估计标准误
2.多元线性回归方程的建立
同一元线性回归一样，多元线性回归也可根据最小 二乘法建立，必须使：
ˆ Q ( y y )2
(yi b0－b1 x1i－b2 x2i－…－b xm i ) m
i 1
n
2
最 值 小
根据极值原理有：
Q 0 ˆ b1 Q 0 b ˆ2 Q 0 b ˆm
主讲人：赵雁岭
一元线性回归模型回顾
函数关系
y 0 1x
数值关系
yi 0 1x i
，i=1,2,...,n
回归模型
y β 0 β1x ，E(ε)=0，Var(ε)=σ2
或
yi β 0 β1xi i ，E(ε )=0，Var(ε )=σ2 i i
F U y / 12m / m Q y/12m / [n (m 1)]
3.根据显著性概率，确定临界值F（m,n-m-1） 4.将计算出的F与临界值F（m,n-m-1）比较 5.下结论：若F>临界值F（m,n-m-1）,则拒绝H0；若F≤临界值F（m,nm-1） ,则接受H0。
sy/12 … m Q y/12m n (m 1)
Qy/12…m 称为多元离回归平方和，它反映了回归估 计值和实测值y之间的差异。 ˆ Q ( y y) 2 最 小 自由度：df= n-(m+1) SSy 可分解为 Uy/12…m 和 Qy/12…m 两部分，即：
Qy/12…m =SSy-Uy/12…m

当考虑到变量间实际存在的关系而要研究某一个变量为代表的综合效 应间的相关与回归时则采用简单相关和简单回归。
i=1,2,...,n
Q
即：
ˆ ( yi yi ) 2 最 值 小
i 1
n
Q [ yi ( 0 1 xi )]2 最 值 小
i 1
n
一、多元线性回归分析
1
多元线性回归模型
2
多元线性回归方程的建立
3
多元线性回归的假设检验
1.多元线性回归模型

若依变量Y 同时受到m 个自变量X1，X2，…，Xm 的 影响，且这m 个自变量皆与Y 成线性关系，则这m+1 个变量的关系就形成m 元线性回归。
（3）偏回归系数的假设检验
偏回归系数的假设检验，就是检验各个偏回归系数
bi(i=1，2,…，m)来自βi=0的总体的概率，所作的假设为H0： βi =0；对HA：βi≠0，检验方法有两种。
t 检验
sbi = sy/12 …m
t bi i s bi
cii
t bi s bi
βi =0
Y
则：
, X
1 x11 x m1 1 x12 x m 2 = 1 x x 1n mn
, β=
,
e1 e2 E= e m
Y = Xβ+E
(其中E是n维随机向量，它的分量相互独立。)

r1M r2 M rMM


c1 M c2M c MM
第三步：令xi 和xj 的偏相关系数为rij·，解得C′ij 后即有
rij
c ij jj c ii c
矩阵以主对角线为轴而对称，即rij =rji。逆阵 R-1中的元素也 是以主对角线为轴而对称的 C′ij=C′ji 。
可得到：
y i xi 1 y xi 2 i y i xim
b b x b x x ˆ ˆ ˆ b b x b x x ˆ ˆ ˆ
0 1 i1 m im 0 1 i1 m im
i1