统计学第六版贾俊平第12章

(multiple regression equation)
1. 描述因变量 y 的平均值或期望值如何依赖 于自变量 x1， x2 ，…，xp的方程 2. 多元线性回归方程的形式为 E( y ) = b0+ b1 x1 + b2 x2 +…+ bp xp
b1，b2，，bp称为偏回归系数
bi 表示假定其他变量不变，当 xi 每变 动一个单位时，y 的平均平均变动值
VAR2 VAR3 VAR4 VAR5 Intercpt Predictd -95.0%CL +95.0%CL
12 - 39
统计学
第六版
预测区间估计
(例题分析)
STATISTICA输出的不良贷款的预测区间
variable: VAR1 B-Weight Value 0.040039 0.148034 0.014529 -0.029193 B-Weight * Value 4.003935 1.480339 0.21794 -1.751572 -1.02164 2.929003 -0.884199 6.742205
4. 对每一个自变量都要单独进行检验
5. 应用 t 检验统计量
12 - 25
统计学
第六版
回归系数的检验
(步骤)
H0： bi = 0 (自变量 xi 与 因变量 y 没有线性关系) H1： bi 0 (自变量 xi 与 因变量 y有线性关系)
1. 提出假设

2. 计算检验的统计量 t
Excel 输出 结果的分析
第六版
估计的多元回归的方程
(estimated multiple regression equation)
ˆ ,b ˆ ,b ˆ ,, b ˆ 估计回归方 1. 用样本统计量 b 0 1 2 p 程中的 参数 b 0 , b1 , b 2 ,, b p 时得到的方程 2. 由最小二乘法求得 3. 一般形式为
12 - 13
统计学
第六版
参数的最小二乘法
(例题分析)
【例】一家大型商业银行在多个地区设有分行， 为弄清楚不良贷款形成的原因，抽取了该银行 所属的25家分行2002年的有关业务数据。试建 立不良贷款 (y) 与贷款余额 (x1) 、累计应收贷款 (x2)、贷款项目个数(x3)和固定资产投资额(x4)的 线性回归方程，并解释各回归系数的含义
3. 确定显著性水平，并进行决策

t>t2，拒绝H0； t<t2，不能拒绝H0
12 - 26
统计学
第六版
回归系数的推断
(置信区间)
回归系数在(1-)%置信水平下的置信区间为
ˆ t (n p 1) s ˆ b i 2 b
回归系数的 抽样标准差
i
Excel 输出结果的分析
12 - 22
统计学
第六版
线性关系检验
H0：b1b2bp=0 线性关系不显著 H1：b1，b2，，bp至少有一个不等于0
1. 提出假设


2. 计算检验统计量F
3. 确定显著性水平和分子自由度p、分母自由度np-1找出临界值F 4. 作出决策：若F>F ，拒绝H0 Excel 输出

可能会使回归的结果造成混乱，甚至会把分 析引入歧途
可能对参数估计值的正负号产生影响，特别 是各回归系数的正负号有可能同我们与其的 正负号相反
Excel 输出结果的分析

12 - 30
统计学
第六版
多重共线性的识别
12 - 31
统计学
第六版
多重共线性的识别
1. 检测多重共线性的最简单的一种办法是计算模型 中各对自变量之间的相关系数，并对各相关系数 进行显著性检验
12 - 8
统计学
第六版
二元回归方程的直观解释
二元线性回归模型 y
y b 0 b1 x1 b 2 x2
(观察到的y)
b0
回归面
}
i
x2 (x1,x2) x1
12 - 9
E ( y ) b 0 b1 x1 b 2 x2
统计学
第六版
估计的多元回归方程
12 - 10
统计学
统计学
第六版
多元回归模型
(基本假定)
1. 误差项ε 是一个期望值为 0 的随机变量，即 E()=0 2. 对于自变量 x1 ， x2 ， … ， xp 的所有值， 的 方差2都相同 3. 误差项ε是一个服从正态分布的随机变量， 即ε~N(0,2)，且相互独立
12 - 7
统计学
第六版
多元回归方程
(例题分析)
1.
t2(25-2)=2.0687 ，所有统计量 t>t2(25-2)=2.0687 ，所以均拒绝原假设，说明这 4 个自变量两两之间 都有显著的相关关系 由表Excel输出的结果可知，回归模型的线性关系显 著(Significance-F＝1.03539E-06<=0.05)。而回归 系 数 检 验 时 却 有 3 个 没 有 通 过 t 检 验 (PValue=0.074935 、 0.862853 、 0.067030>=0.05) 。这也暗示了模型中存在多重共线性 固定资产投资额的回归系数为负号(-0.029193) ，与 预期的不一致
Excel 输出结果的分析
12 - 37
统计学
第六版
12.5 利用回归方程进行估计和预测
软件应用
12 - 38
统计学
第六版
置信区间估计
(例题分析)
STATISTICA输出的不良贷款的置信区间
variable: VAR1 B-Weight Value 0.040039 100 0.148034 10 0.014529 15 -0.02919 60 B-Weight * Value 4.003935 1.480339 0.21794 -1.75157 -1.02164 2.929003 2.049598 3.808407
12 - 42
统计学
第六版
虚拟自变量 (dummy variable)
1. 用数字代码表示的定性自变量
2. 虚拟自变量可有不同的水平

只有两个水平的虚拟自变量

比如，性别(男，女) 贷款企业的类型(家电，医药，其他)

有两个以上水平的虚拟自变量

3. 虚拟变量的取值为0，1
12 - 27
统计学
第六版
12.4 多重共线性
ቤተ መጻሕፍቲ ባይዱ
一. 多重共线性及其所产生的问题 二. 多重共线性的判别 三. 多重共线性问题的处理
12 - 28
统计学
第六版
多重共线性及其产生的问题
12 - 29
统计学
第六版
多重共线性
(multicollinearity)
1. 回归模型中两个或两个以上的自变量彼此 相关 2. 多重共线性带来的问题有
3. 因变量取值的变差中，能被估计的多元回 归方程所解释的比例
12 - 17
统计学
第六版
修正多重判定系数
(adjusted multiple coefficient of determination)
1. 用样本容量n和自变量的个数p去修正R2得到 2. 计算公式为
3. 避免增加自变量而高估 R2 4. 意义与 R2类似 5. 数值小于R2
y b 0 b1 x1i b 2 x2i b p x pi i
b0 ，b1，b2 ，，bp是参数 是被称为误差项的随机变量 y 是x1,，x2 ， ，xp 的线性函数加上误差项 包含在y里面但不能被p个自变量的线性关系 所解释的变异性
12 - 6
统计学
第六版
第 12 章 多元线性回归
作者：中国人民大学统计学院
12 - 1
贾俊平
统计学
第六版
第12章 多元线性回归
多元线性回归模型 回归方程的拟合优度 显著性检验 多重共线性 利用回归方程进行估计和预测 虚拟自变量的回归
12.1 12.2 12.3 12.4 12.5 12.6
12 - 2
统计学
12 - 23
结果的分析
统计学
第六版
回归系数检验和推断
12 - 24
统计学
第六版
回归系数的检验
1. 线性关系检验通过后，对各个回归系数有选 择地进行一次或多次检验 2. 究竟要对哪几个回归系数进行检验，通常需 要在建立模型之前作出决定 3. 对回归系数检验的个数进行限制，以避免犯 过多的第一类错误(弃真错误)
12 - 4
统计学
第六版
多元回归模型与回归方程
12 - 5
统计学
第六版
多元回归模型
(multiple regression model)
1. 一个因变量与两个及两个以上自变量的回归 2. 描述因变量 y 如何依赖于自变量 x1 ， x2 ，…， xp 和误差项 的方程，称为多元回归模型 3. 涉及 p 个自变量的多元回归模型可表示为
第六版
参数的最小二乘法
1. 使因变量的观察值与估计值之间的离差平方和 ˆ ,b ˆ ,b ˆ ,, b ˆ 。即 达到最小来求得 b 0 1 2 p
2. 求解各回归参数的标准方程如下
Q b 0 Q b i 0
ˆ b0 b 0
0
ˆ bi b i
(i 1,2, , p )
2.
3.
12 - 35
统计学
第六版
多重共线性问题的处理
12 - 36
统计学
第六版
多重共线性
(问题的处理)
1. 将一个或多个相关的自变量从模型中剔除 ，使保留的自变量尽可能不相关
2. 如果要在模型中保留所有的自变量，则应


避免根据 t 统计量对单个参数进行检验
对因变量值的推断 ( 估计或预测 ) 的限定在自 变量样本值的范围内
Excel 输出结果的分析
12 - 18
统计学
第六版
估计标准误差 Sy
1. 对误差项的标准差的一个估计值 2. 衡量多元回归方的程拟合优度 3. 计算公式为
Excel 输出结果的分析
12 - 19
统计学
第六版
12.3 显著性检验
一. 线性关系检验 二. 回归系数检验和推断
12 - 20
统计学
12 - 32
统计学
第六版
多重共线性
(例题分析)
【例】判别各自变量之间是否存在多重共线性
贷款余额、应收贷款、贷款项目、固定资产投资额之间的相关矩阵
12 - 33
统计学
第六版
多重共线性
(例题分析)
【例】判别各自变量之间是否存在多重共线性
相关矩阵系数的检验统计量
12 - 34
统计学
第六版
多重共线性
第六版
线性关系检验
12 - 21
统计学
第六版
线性关系检验
1. 检验因变量与所有自变量之间的是否显著 2. 也被称为总体的显著性检验 3. 检验方法是将回归离差平方和(SSR)同剩余离 差平方和(SSE)加以比较，应用 F 检验来分 析二者之间的差别是否显著


如果是显著的，因变量与自变量之间存在线性 关系 如果不显著，因变量与自变量之间不存在线性 关系

若有一个或多个相关系数显著，就表示模型中所用 的自变量之间相关，存在着多重共线性 模型中各对自变量之间显著相关。 当模型的线性关系检验 (F检验) 显著时，几乎所有回 归系数的t检验却不显著 回归系数的正负号与其的相反。 Excel 输出结果的分析
2. 如果出现下列情况，暗示存在多重共线性


第六版
学习目标
1. 2. 3. 4. 5. 6. 7.
回归模型、回归方程、估计的回归方程 回归方程的拟合优度 回归方程的显著性检验 多重共线性问题及其处理 利用回归方程进行估计和预测 虚拟自变量的回归问题 用 Excel 进行回归分析
12 - 3
统计学
第六版
12.1 多元线性回归模型
一. 多元回归模型与回归方程 二. 估计的多元回归方程 三. 参数的最小二乘估计
ˆ b ˆ x b ˆ x b ˆ x ˆb y 0 1 1 2 2 p p
ˆ ,b ˆ ,b ˆ ,, b ˆ 是 b 0 1 2 p 估计值 ˆ 是 y 的估计值 y
12 - 11
b 0 , b1 , b 2 ,, b p
统计学
第六版
参数的最小二乘估计
12 - 12
统计学
用Excel进行回归
12 - 14
统计学
第六版
12.2 回归方程的拟合优度
一. 多重判定系数 二. 估计标准误差
12 - 15
统计学
第六版
多重判定系数
12 - 16
统计学
第六版
多重判定系数
(multiple coefficient of determination)
1. 回归平方和占总平方和的比例 2. 计算公式为
VAR2 VAR3 VAR4 VAR5 Intercpt Predictd -95.0%PL +95.0%PL
12 - 40
100 10 15 60
统计学
第六版
12.6 虚拟自变量的回归
一. 含有一个虚拟自变量的回归 二. 用虚拟自变量回归解决方差分析问题
12 - 41
统计学
第六版
含有一个虚拟自变量的回归