应用回归分析,第4章课后习题参考答案

应⽤回归分析,第4章课后习题参考答案

第4章违背基本假设的情况

思考与练习参考答案4.1 试举例说明产⽣异⽅差的原因。

答：例4.1：截⾯资料下研究居民家庭的储蓄⾏为Y i=?0+?1X i+εi

其中：Y i表⽰第i个家庭的储蓄额，X i表⽰第i个家庭的可⽀配收⼊。

由于⾼收⼊家庭储蓄额的差异较⼤，低收⼊家庭的储蓄额则更有规律性，差异较⼩，所以εi的⽅差呈现单调递增型变化。

例4.2：以某⼀⾏业的企业为样本建⽴企业⽣产函数模型Y i=A i?1K i?2L i?3eεi

被解释变量：产出量Y，解释变量：资本K、劳动L、技术A，那么每个企业所处的外部环境对产出量的影响被包含在随机误差项中。由于每个企业所处的外部环境对产出量的影响程度不同，造成了随机误差项的异⽅差性。这时，随机误差项ε的⽅差并不随某⼀个解释变量观测值的变化⽽呈规律性变化，呈现复杂型。4.2 异⽅差带来的后果有哪些？

答：回归模型⼀旦出现异⽅差性，如果仍采⽤OLS估计模型参数，会产⽣下列不良后果：1、参数估计量⾮有效

2、变量的显着性检验失去意义

3、回归⽅程的应⽤效果极不理想

总的来说，当模型出现异⽅差性时，参数OLS估计值的变异程度增⼤，从⽽造成对Y的预测误差变⼤，降低预测精度，预测功能失效。4.3 简述⽤加权最⼩⼆乘法消除⼀元线性回归中异⽅差性的思想与⽅法。

答：普通最⼩⼆乘估计就是寻找参数的估计值使离差平⽅和达极⼩。其中每个平⽅项的权数相同，是普通最⼩⼆乘回归参数估计⽅法。在误差项等⽅差不相关的条件下，普通最⼩⼆乘估计是回归参数的最⼩⽅差线性⽆偏估计。然⽽在异⽅差

的条件下，平⽅和中的每⼀项的地位是不相同的，误差项的⽅差⼤的项，在残差平⽅和中的取值就偏⼤，作⽤就⼤，因⽽普通最⼩⼆乘估计的回归线就被拉向⽅差⼤的项，⽅差⼤的项的拟合程度就好，⽽⽅差⼩的项的拟合程度就差。由OLS 求出的仍然是的⽆偏估计，但不再是最⼩⽅差线性⽆偏估计。所以就是：对较⼤的残差平⽅赋予较⼩的权数，对较⼩的残差平⽅赋予较⼤的权数。这样对残差所提供信息的重要程度作⼀番校正，以提⾼参数估计的精度。

加权最⼩⼆乘法的⽅法：4.4简述⽤加权最⼩⼆乘法消除多元线性回归中异⽅差性的思想与⽅法。

答：运⽤加权最⼩⼆乘法消除多元线性回归中异⽅差性的思想与⼀元线性回归的类似。多元线性回归加权最⼩⼆乘法是在平⽅和中加⼊⼀个适当的权数i w ，以调整各项在平⽅和中的作⽤，加权最⼩⼆乘的离差平⽅和为：∑=----=n

i ip p i i i p w x x y w Q 1211010)( ),,,(ββββββΛΛ

（2）

加权最⼩⼆乘估计就是寻找参数p βββ,,,10Λ的估计值pw w w βββ?,,?,?10Λ使式（2）的离差平⽅和w Q 达极⼩。所得加权最⼩⼆乘经验回归⽅程记做22011

1()()N N

w i i i i i i

i i Q w y y w y x ββ===-=--∑∑22

__

1

_

2

_

_

02

222

()()

()1

11

1

,i i N

w i

i

i w i w

i w

w

w w w kx i i

i i

m

i i i m

i

w x

x y y x x y x w kx x kx w x σβββσσ==---=-=

=

===∑∑1N i =1

1表⽰=或

p

pw w w w x x y βββ110+++=Λ （3） 多元回归模型加权最⼩⼆乘法的⽅法:

⾸先找到权数i w ，理论上最优的权数i w 为误差项⽅差2i σ的倒数,即21

i

i w σ

=

（4）

误差项⽅差⼤的项接受⼩的权数，以降低其在式（2）平⽅和中的作⽤; 误差项⽅差⼩的项接受⼤的权数，以提⾼其在平⽅和中的作⽤。由（2）式求出的

加权最⼩⼆乘估计pw w w βββ?,,?,?10Λ就是参数p βββ,,,10Λ的最⼩⽅差线性⽆偏估计。

⼀个需要解决的问题是误差项的⽅差2i σ是未知的,因此⽆法真正按照式（4）选取权数。在实际问题中误差项⽅差2i σ通常与⾃变量的⽔平有关(如误差项⽅差2i σ随着⾃变量的增⼤⽽增⼤),可以利⽤这种关系确定权数。例如2i σ与第j 个⾃

变量取值的平⽅成⽐例时, 即2i σ=k 2ij x 时,这时取权数为

21

ij

i x w =

（5）

更⼀般的情况是误差项⽅差2i σ与某个⾃变量j x (与|e i |的等级相关系数最⼤

的⾃变量)取值的幂函数m ij x 成⽐例，即2i σ=k mij x ,其中m 是待定的未知参数。此时

权数为m ij

i x w 1

=

（6） 这时确定权数i w 的问题转化为确定幂参数m 的问题，可以借助SPSS 软件解决。4.5（4.5）式⼀元加权最⼩⼆乘回归系数估计公式。 证明： 由 得：

2

2011

1

()()N N

w i i i i i i

i i Q w y y w y x ββ===-=--∑∑0

1

00??Q

Q

ββ

==

w

w w i

n i i

w i w i

n

i i

x y x x

w y y x x

w 102

1

1

1

)()

)((?βββ-=---=∑∑==

4.6验证（4.8）式多元加权最⼩⼆乘回归系数估计公式。

证明：对于多元线性回归模型 ,y =X β+ε （1）2()0,cov(,)E σ'?==εεεW ，即存在异⽅差。设

,00'=??= ?

W DD D K

M O

M L

， ⽤-1D 左乘（1）式两边，得到⼀个新的的模型：---111D y =D X β+D ε，即***y =X β+ε。

因为22()()()E E E σσ---''''''====1-11-11-1εεD εεD D εεD D WD I ， 故新的模型具有同⽅差性，故可以⽤⼴义最⼩⼆乘法估计该模型，得111?()()()**-**------''''''''===1111w

βX X X y X D D X X D D y X WX X Wy 原式得证。

4.7 有同学认为当数据存在异⽅差时，加权最⼩⼆乘回归⽅程与普通最⼩⼆乘回归⽅程之间必然有很⼤的差异，异⽅差越严重，两者之间的差异就越⼤。你是否同意这位同学的观点？说明原因。

答：不同意。当回归模型存在异⽅差时，加权最⼩⼆乘估计（WLS ）只是普通最⼩⼆乘估计（OLS ）的改进，这种改进可能是细微的，不能理解为WLS ⼀定会得到与OLS 截然不同的⽅程来，或者⼤幅度的改进。实际上可以构造这样的数据，回归模型存在很强的异⽅差，但WLS 与OLS 的结果⼀样。加权最⼩⼆乘法不会消除异⽅差，只是消除异⽅差的不良影响，从⽽对模型进⾏⼀点改进。4.8 对例4.3的数据，⽤公式iw i iw e w e ='计算出加权变换残差'iwe

，绘

制加权变换残差图，根据绘制出的图形说明加权最⼩⼆乘估计的效果。

解：⽤公式iw i iw e w e '

计算出加权变换残差'iwe ，分别绘制加权最⼩⼆乘估计后的残差图和加权变换残差图（见下图）。

根据绘制出的两个图形可以发现加权最⼩⼆乘估计没有消除异⽅差，只是对原OLS 的残差有所改善，⽽经过加权变换后的残差不存在异⽅差。4.9 参见参考⽂献[2]，表4.12（P 138）是⽤电⾼峰每⼩时⽤电量y 与每⽉总⽤电量x 的数据。

（1）⽤普通最⼩⼆乘法建⽴y 与x 的回归⽅程，并画出残差散点图。 解：SPSS 输出结果如下：Coe fficients

a -.831.442-1.882.065.004.000

.839

11.030.000

(Constant)x

Model

1

B Std. E rror Unstandardized Coefficients Beta

Standardized

Coefficients

t

Sig.Dependent Variable: y

a.

由上表可得回归⽅程为：0.8310.004y

x =-+ 残差图为：

解：a 由残差散点图可以明显看出存在异⽅差，误差的⽅差随着x 的增加⽽增⼤。

得到等级相关系数0.318sr ，P 值=0.021，认为残差绝对值i

e 与⾃变量i x 显着相关，存在异⽅差。

（3）如果存在异⽅差，⽤幂指数型的权函数建⽴加权最⼩⼆乘回归⽅程； 解：SPSS 输出结果如图：

由上述表可得，在 1.5m =时对数似然函数达到最⼤，则幂指数的最优取值为1.5m =。加权后的回归⽅程为：?0.6830.004w y x =-+。

计算加权后的残差，并对残差绝对值和⾃变量做等级相关系数分析，结果如下表Coefficients

a,b

-.683 .298

-2.296 .026 .004

.000

.812

9.930

.000

(Constant) x

Model 1

B Std. Error

Unstandardized Coefficients

Beta

Standardized Coefficients t Sig. Dependent Variable: y

a. Weighted Least Squares Regression - Weighted by Weight for y from WLS, MOD_2 x** -1.500

b.

所⽰：0.321s r =，P 值为0.019<0.05，即加权最⼩⼆乘法没有消除异⽅差，只是消除异⽅差的不良影响，从⽽对模型进⾏⼀点改进。

（4）⽤⽅差稳定变换y y ='消除异⽅差。

解：对应变量做⽅差稳定变换（y y ='）后，⽤最⼩⼆乘法做回归，SPSS 结果如下表：

则回归⽅程为：?0.5822+0.0009529yx '=。 保存预测值?i y

'，计算出残差的绝对值后，计算等级相关系数，见下表：