第2章 简单回归模型

ˆ y ˆx 0 1
n
二、普通最小二乘法的推导
另一种方法 定义y在x=xi时的拟合值为
ˆ i ˆ 0 ˆ 1 x i y
（2.17）
ˆ 1

( x i x )( y i y )
n
i 1

( xi x )2
（2.19）
第i次观测的残差为
ˆ ˆx ˆi yi y ˆ i yi u 0 1 i
江西财经大学（彭Leabharlann 宏） 2一、简单回归模型的定义
y = 0 + 1x + u y：因变量；x：自变量
一、简单回归模型的定义
假定
E(u)=0 E(u|x)=E(u) (2.5) (2.6)
（2.1)
0：截距参数；1 ：斜率参数
u：误差项 u表示除x之外其他影响y的因素，可以把u看作是“观测 不到”的因素。（解决了问题① ） 1度量了其他因素不变的情况下(Δu=0) ，x对y的线性 影响(Δy=1Δx) 。 （解决了问题②和半个问题③，1 如何确定？）
.} û3
E ( y | x) 0 1 x
• 总体回归函数是固定而又未知的，给定一个样本 就能通过OLS得到一个样本回归函数。 • 例2.3、2.4、2.5
江西财经大学（彭树宏） 13
y1
.} û1
x1
江西财经大学（彭树宏）
x2
x3
x4
x
14
三、OLS的操作技巧
OLS统计量的代数性质
i1
③ 点
( x, y )
总在OLS回归线上（由（2.16）式得）
江西财经大学（彭树宏） 15 江西财经大学（彭树宏） 16
三、OLS的操作技巧
• y的总变异总能表示成解释了的变异和未解释的 变异之和：
yi
四、度量单位和函数形式 改变度量单位对OLS统计量的影响 • 若因变量乘以一个常数c（自变量没有变 化），则OLS截距和斜率的估计值都扩大 为原来的c倍。 • 若自变量乘以一个常数c （因变量没有变 化），则OLS斜率系数将被除以c，而截距 系数则没有变化。
二、普通最小二乘法的推导
• 例子：15个家庭的年收入和年储蓄数据
江西财经大学（彭树宏） 7 江西财经大学（彭树宏） 8
二、普通最小二乘法的推导
零条件均值假定意味着，在总体中，u与x 不相关，即x和u之间的协方差为零。我们 有：
E(u)=0 (2.10) Cov(x,u)=E(xu)-E(x) •E(u)=0 (2.11)
四、度量单位和函数形式
江西财经大学（彭树宏）
19
江西财经大学（彭树宏）
20
四、度量单位和函数形式
“线性”回归的含义：“线性”是指对参数线性 而非对变量线性。 • 线性回归 • 非线性回归
五、OLS估计量的期望值和方差
OLS的无偏性
江西财经大学（彭树宏）
21
江西财经大学（彭树宏）
22
五、OLS估计量的期望值和方差
ˆ / se ˆ1

x
i
x
2

1
2
江西财经大学（彭树宏）
29
5
ˆ 和 ˆ 最小化残差平方和 选择 1 0
ˆ ˆ y u
2 i i i 1 i 1 n n 0
i 1
计算（2.17）和（2.19）仅需的假定是样本中的xi 不完全相等（ （2.19） 的分母不为零）。 （2.19）式的分子、分母同除以n-1即为x和y的样 本协方差和x的样本方差。 11 江西财经大学（彭树宏）
4
五、OLS估计量的期望值和方差
• 用y的条件均值和 条件方差表示零 条件均值假定和 同方差假定有：
五、OLS估计量的期望值和方差
• 当假定 SLR.5不满 足时，便称 误差项表现 出异方差 性。（例 2.13）
江西财经大学（彭树宏）
25
江西财经大学（彭树宏）
26
五、OLS估计量的期望值和方差
• 有了同方差假定，便可以证明如下定理：
n n
三、OLS的操作技巧
拟合优度 • 定义总平方和(SST)、解释平方(SSE)和残 差平方和(SSR)为：
① OLS残差和及其样本均值都为零（由（2.14）式得）
0 n 回归元和OLS残差的样本协方差为零（由（2.15）式 n 得）
i i 1
uˆ
uˆ
0,
i 1
i
②

ˆi 0 x iu
• 方法：从总体中抽取一个样本来对总体参数进行 估计
抽取 总体 估计
江西财经大学（彭树宏） 5 江西财经大学（彭树宏） 6
样本
1
二、普通最小二乘法的推导
• 令{(xi,yi): i=1, …,n}表示从总体中抽取的一 个容量为n的随机样本，对每个i都有：
yi = 0 + 1xi + ui (2.9) ui包括除xi之外所有影响yi的因素，它是第i 次观测的误差项。
第2章 简单回归模型
一．简单回归模型的定义 二．普通最小二乘法的推导 三．OLS的操作技巧 四．度量单位和函数形式 五．OLS估计量的期望值和方差 六．过原点回归
江西财经大学（彭树宏） 1
一、简单回归模型的定义
• y和x是两个代表某个总体的变量，研究y如何随x 而变化？ • 例：y是大豆产出，x是施肥量；y是小时工资，x 是受教育年数；y是社区的犯罪率，x是警察的数 量。 • 写出用x解释y的模型时面临的问题：①应该如何 考虑其他影响y的因素？②y和x的函数关系是怎 样？③何以确定在其他条件不变的情况下刻画了y 和x之间的关系？
二、普通最小二乘法的推导
• E(y – 0 – 1x) = 0 （2.12） • E[x(y – 0 – 1x)] = 0 （2.13） • （2.12）和（2.13）的样本对应值为：
n
n
1

i1
y
i
ˆ 0 ˆ 1 x
i

0
由总体回归函数y = 0 + 1x + u ，得
五、OLS估计量的期望值和方差
误差方差的估计 • 误差和方差的区别：误差出现在包含总体参数 0 ˆ 和 ˆ 的方程 和 1 的方程中，残差出现在使用 1 0 中；误差无法观测，但残差却可以从数据中计算 出来。 yi 0 1 xi ui
ˆ ˆ x u ˆi yi 0 1 i
五、OLS估计量的期望值和方差
OLS估计量的方差
• 在假定SLR.1~SLR.4下，OLS估计量的方差可以计算 出来。增加假定SLR.5，是因为它简化了估计量方差 的计算，而且它还意味着，普通最小二乘法具有某种 有效性。 • 2 被称为误差方差。
江西财经大学（彭树宏） 23 江西财经大学（彭树宏） 24
17 江西财经大学（彭树宏） 18
• 定义判定系数为： • 数据点都落在同一直线上时，R2=1，OLS提供 了数据的一个完美拟合。一个接近零的R2值表明 OLS给出了一个糟糕的拟合。 ˆ i 的样本相关系数的平方。 • R2等于 yi和 y
江西财经大学（彭树宏）
3
四、度量单位和函数形式
在简单回归中加入非线性因素 • 线性模型（例2.3） • 半弹性模型（例2.10） • 弹性模型（例2.11）
ui 为误差，u ˆi 为残差。
江西财经大学（彭树宏）
27
江西财经大学（彭树宏）
28
五、OLS估计量的期望值和方差
• 2的无偏估计量为：
ˆ2
n 2
1
ˆi2 SSR /n 2 u
ˆ ˆ 2 ，被称为回归标准误。 • ˆ 2 代入方差公式（2.57）和（2.58），我 • 将 ˆ ) 的无偏估计量，进 ˆ ) 和 Var ( 们就能得到 Var ( 1 0 ˆ 的标准差的无偏估计量。 ˆ 和 而得到 0 1
u=y- 0 - 1x
n
n
1

x i y i ˆ 0 ˆ 1 x i 0


i 1
（2.14 ） （2.15 ）
代入（2.10）和（ 2.11），得 江西财经大学（彭树宏）
ˆ 和 ˆ • 由以上两个方程，可解得 0 1
9 江西财经大学（彭树宏） 10
二、普通最小二乘法的推导
ˆx 1 i

2
由最优化一阶条件可得到式（2.17）和（2.19）给出的 普通最小二乘估计量。
江西财经大学（彭树宏） 12
2
二、普通最小二乘法的推导
• 样本回归函数 y4
三、OLS的操作技巧
拟合值和残差
û4 {
.
ˆ ˆx ˆ y 0 1
ˆ ˆ x ˆ y 0 1
• 总体回归函数 y3 y2 û2 {.
江西财经大学（彭树宏） 3
结合（2.5）和（2.6），得到
E(u|x)=0
（零条件均值假定）
总体回归函数
E(y|x)= 0 + 1x
江西财经大学（彭树宏）
(2.8)
4
一、简单回归模型的定义
二、普通最小二乘法的推导
• 问题：如何估计总体回归方程
y = 0 + 1x + u (2.1)
中的参数0和1？