3.多元回归分析3：渐近性

n


ˆ Pr lim
一致性指的是随着样本容量逐渐增大过程中的趋势性特 征，并不针对某一特定的样本量 即使没有正态性假定，OLS估计量也会渐近地服从正态 分布；针对OLS估计量的t和F统计量在样本容量增大的 情形下，会渐近地服从t和F分布

5
n增大时的抽样分布
n3
n1 < n2 < n3 n2 n1
偏误的方向取决于x1和u之间的协方差 如果x1和u之间的协方差相对于的x1方差很小，则这种不一 致性就可以忽略

11
推导非一致性：遗漏变量
误差项与任意解释变量相关，都会导致所有的OLS估 计量失去一致性 与考虑省略变量偏误类似：

真实模型 : y b 0 b1 x1 b 2 x2 v 估计模型 : y b 0 b1 x1 u 故：u b 2 x2 v Cov( x1 , u ) Cov( x1 , b 2 x2 v ) plimb1 b1 b1 Var ( x1 ) Var ( x1 ) ~ Cov( x1 , x2 ) b1 b 2 b1 b 21 Var ( x1 )


ˆij 是 x j 对其他自变量回归所得 这里， r 残差；
2 2 ˆ (ii) 是 的一致估计量；
ˆ b se b ˆ ~ Normal 0,1 , 对于 每个j成立, (iii) b j j j ˆ ) 是通常的OLS标准误差. 此处， se( b j
20


a

根据t分布的定义以及正态分布的自由度，有：
Fraction
0
0
.2
.4
.6
20
40 prate
60
80
100
17
Fraction
0
.1
.2
.3
.4
.5
0
20
40 prate
60
80
100
18
中心极限定理
根据中心极限定理，可以证明OLS估计量是渐近正态的 令{Zn: n=1,2,…} 为一系列随机变量，渐近正态是指， 当n 时，P(Zn<z) F(z) ，或者 P(Zn<z) Ф(z)，记 为: Zn ~a N(0,1) 中心极限定理表明，任意总体的平均值根据均值m和标 准差进行标准化后渐近服从于N(0,1)
Cum. 72.29 92.81 97.25 98.79 99.23 99.71 99.85 99.89 99.93 99.96 100.00
15
2,000 1,800
1,600
1,400 1,200 1,000 800 600 400 200 0 0 1 2 3 4 5 6 7 9 10 12
16


误差项服从正态分布，则对于给定的x， y也服从正态分布
OLS估计量是误差项的线性函数，所以也是正态的

正态性的假定是很容易违背的！


一些变量具有明显的偏态，如工资、犯罪、储蓄，而正态分布是对称的
某些变量的分布是截断的

正态性假定并不是OLS估计量是BLUE这一结论所必须的，仅仅 出自于统计推断的需要 即使y不是来自于正态总体的样本，当样本容量不断增加时， OLS估计量也会渐近地趋向于正态分布，即OLS估计量具有渐近 14 正态性
12

不一致性可以看成是偏误 不一致性与偏误主要的区别在于，偏误使用的是总体方差和总 体协方差，无偏性用的是样本方差和样本协方差 不一致性的严重程度取决于解释变量与遗漏变量之间的相关程 度 非一致性是大样本问题，不会因为样本容量的增大而消失 遗漏变量不仅会导致与之具有相关性的解释变量对应的估计系 数不具有一致性，也会导致与之不具有相关性的解释变量对应 的估计系数不具有一致性；除非遗漏的变量与所有的解释变量 都不相关，从而使得扰动项满足高斯-马尔科夫经典假定 考虑一个模型为： y=b0+b1x1+b2x2+u 其中，u和x1相关，即cov(u,x1)≠0(x1为内生变量)，cov(u,x2)=0 (x2为外生变量)，


25
假设标准模型为：

y=b0+b1x1+b2x2+. . .bkxk+u H0: bk-q+1=0, ... , bk=0 首先回归受约束模型
~得到残差, u ~, 并进行 y b 0 b1 x1 ... b k q xk q u ~对x , x ,...,x (即所有变量)回归 u
x x x u n x x
2 i1 1 1 2 1 i i1 1
ˆ b Cov x , u Var x b plimb 1 1 1 1 1
( Cov x1 , u 0)
9
一个弱一点的假设

对于无偏性，利用的假定条件是：

22
(I)渐近正态性与渐近方差 2
ˆ ) ˆar( b V j ˆ2 SSRj ˆ SSTj (1 R j ) ˆ2
2
1 n ( SSRj ) n 2 2 n 1 2 c 1 j ˆ ) A var(b ˆ b ) A var( b j j j n rˆj 2 n a j 2 n cj
线性结构 Linear structure 随机抽样 random sampling 无严格共线性 No perfect collinearity 零值条件期望 Zero conditional mean 对于误差项u的唯一限制就是，假定误差的分布具有 有限的方差：同方差性: Var(u|x)=2 误差项u的正态性假定MLR.6被放弃
7
θ
无偏性和一致性

估计量在有限样本中有偏的，但可能具有一致性 若随机变量X的方差为 2，则对于随机样本 {xi , i 1 n}，
2的有偏估计量s x 2 ( xi x ) 2 / n，却是 2的一致估计量。

估计量是无偏的，但可能不具有一致性
假设z的真值为0，随机变量X以0.5的概率取1，而以0.5的概 率取-1，那么, E(x)=0 = z 。 但是, 当n趋向无穷大时, X总是在X=0这条线上下摆动，它的 方差并不会趋于0。因此，它不是Z的一致估计量。
多元回归分析：
大样本性质（渐近性）
1
y = b0 + b1x1 + b2x2 + . . . bkxk + u
在高斯-马尔科夫假定下，OLS估计量是BLUE。但 并不是在任何情况下都能得到无偏估计量。 OLS估计量的有限样本、小样本或精确性质

对任何样本容量都成立 无偏性（假设1-假设4：参数线性、随机抽样、解释变量 有变化、零条件均值；P48）；但无偏性并非总能实现 最优线性无偏估计量（+扰动项的方差假设）：CH3.5 OLS估计量的抽样分布（+扰动项的正态分布假设）CH4
n
ˆ2 SSTj (1 R j ) 1 2 n aj
2 2

ˆ2 SSRj cj n
24

cj
2
n
标准误收敛，收敛速度为样本容量平方根的倒数 需要同方差假设
拉格朗日乘数统计量

在大样本情形下或渐近正态性假定，我们可以利用t 统计量和F统计量进行统计推断 拉格朗日乘数检验，可用于检验对参数所施加的额外 约束 由于LM统计量利用了辅助回归，有时被称为 nR2 统 计量
b1
6
一致性的含义
• • 当n→∞时，估计量Wn的概率分布以θ为中心无限集中： (1) Wn的可能取值范围不断缩小：无限小 (2) 参数真值θ始终在其分布范围内： θ可能不是分布的中心，但是， Wn的可能取值始终包含 θ ，并向θ集中， Wn最终收敛于θ。
N=5000 f(w)
N=500
N=100


ˆ ˆ b j b j se b j ~ tnk 1

a
随着自由度的增大，t分布会逐渐趋近于标准正态分布 在大样本中，不一定需要正态性假定，但必须要求满足 同方差，即所有样本是独立同分布的、来自同一总体； 扰动项具有有限方差
21
理解定理5.2
Gauss-Markov假定：
3
Density
0
.2
.4
ห้องสมุดไป่ตู้.6
2
4
6 lnpinc
8
10
12
4

在样本容量增大的过程中，
估计量的偏差会如何变化 一致性 正态分布的假定是否可以放松 渐近正态性 渐近有效性


在不能得到无偏估计量的情形下，我们希望得到的估计 量具有一致性， 即随着n∞，估计值收敛于真实值。
ˆ 1 lim Pr
若cov(x1, x2 ) ≠ 0 ，则b1和b2的OLS估计量均不一致。 若cov(x1 , x2 )=0 ，则只有b1的OLS估计量不一致。

13



OLS估计量的渐近分布

在CLM（经典线性模型）假定下，样本分布是正态的，因此可以 导出用以检验的t分布和F分布

因为假定误差项的分布是正态的

narr86 0 1 2 3 4 5 6 7 9 10 12 Total
Freq. 1,970 559 121 42 12 13 4 1 1 1 1 2,725
Percent 72.29 20.51 4.44 1.54 0.44 0.48 0.15 0.04 0.04 0.04 0.04 100.00
1 2 k
~
~
~
LM nRu2 , 其中Ru2从上述辅助回归中得到
2 2 LM ~ q , 因此可以从 q 分布中选择临界值c, 2 或从 q 中计算相应的 p值进行统计推断 a

在大样本情形下，LM检验与F检验的结果通常是非常 类似的
2
ˆ b )) n A var( n ( b j j
n
cj
2
2
aj
2
2 2 ˆ (II) 是 的一致估计量；
应用大数定律 ˆ 2 是 2的无偏估计量 有限样本性质：
渐近标准误
当u 不是正态分布时，标准误有时指的是渐近标准误
ˆ ) sd ˆ(b ˆ ) V ˆ ) ˆ se( b ar ( b j j j

Z
Y mY

~ N 0,1
19
a
n
渐近正态性
在 Gauss - Markov假定下,
2 2 ˆ 0, a j , (i) n b j b j ~ Normal a


ˆ b 的渐进方差； 这里， 2 a2 是 n b j j j
1 2 ˆ 对于斜率系数 , a2 plim n r ij , j



E(u|x1, x2,…,xk)=0 cov(xj,u)=0 E(u|x1, x2,…,xk)=0不成立，但cov(xj,u)=0成立：OLS估 计量是有偏但一致的 E(u|x1, x2,…,xk)=0成立，意味着总体回归模型是正确设 定的
10

渐近偏差
cov( x1 , u ) ˆ plim b1 b1 var( x1 )


无偏估计量何时具有一致性
对于无偏估计量，参数真值始终在其分布中心，即总是不会 偏离真值太远 随着样本容量的增加，如果无偏估计量的方差趋于0，则表 明其取值范围以真值为中心不断集中 如果一个θ 的无偏估计量Wn的方差 var(Wn) → 0 as n→ ∞， 则，Wn是θ 的一致估计量

8
OLS估计量的一致性
在Gauss-Markov假定下，OLS估计量是一致的（也 是无偏的） 在简单回归的情形下，一致性的证明与无偏性的证明 是相同的 证明一致性需要利用概率极限(plim)

ˆ x x y b i1 1 i 1 b1 n
1
x
i1

如果扰动项是正态分布的，则OLS估计量也是正态分布的，因 此可以根据t分布和F分布构造检验统计量 扰动项是不可观测的，因此对扰动项分布的检验通常转化为对 因变量分布的检验

2
Density 1.0e-05 2.0e-05 3.0e-05 4.0e-05 5.0e-05
0
0 100000 pinc 200000 300000

E(u|x1, x2,…,xk) = 0

为得到一致性，所需要的假设要弱一些：零均值和零 相关性
E(u) = 0 cov(xj,u) = 0, for j = 1, 2, …, k

没有这一假定(cov(xj,u)≠0)，OLS估计量可能是有偏 的、且非一致的! cov(xj,u)=0与E(u|x1, x2,…,xk)=0的关系