一元线性回归模型检验
- 格式:doc
- 大小:315.00 KB
- 文档页数:7
目录一、加载工作文件 (7)二、选择方程 (7)1.作散点图 (7)2.进行因果关系检验 (9)三、一元线性回归 (10)四、经济检验 (12)五、统计检验 (13)六、回归结果的报告 (15)七、得到解释变量的值 (15)八、预测应变量的值 (17)实验二一元线形回归模型的估计、检验和预测实验目的:掌握一元线性回归模型的估计、检验和预测方法。
实验要求:选择方程进行一元线性回归,进行经济、拟合优度、参数显著性和方程显著性等检验,预测解释变量和应变量。
实验原理:普通最小二乘法,拟合优度的判定系数R2检验和参数显著性t检验等,计量经济学预测原理。
实验步骤:已知广东省宏观经济部分数据如表2-1所示,要根据这些数据研究和分析广东省宏观经济,建立宏观计量经济模型,从而进行经济预测、经济分析和政策评价。
实验二~实验十二主要都是用这些数据来完成一系列工作。
表2-1 广东省宏观经济数据续上表续上表一、加载工作文件广东省宏观经济数据已经制成工作文件存在盘中,命名为GD01.WF1,进入EViews后选择File/Open打开GD01.WF1。
二、选择方程根据广东数据(GD01.WF1)选择收入法国国内生产总值(GDPS)、财政收入(CS)、财政支出(CZ)和社会消费品零售额(SLC),分别把①CS作为应变量,GDPS作为解释变量;②CZ作为应变量,CS作为解释变量;③SLC作为应变量,GDPS作为解释变量进行一元线性回归分析。
1.作散点图从三个散点图(图2-1~图2~3)可以看出,三对变量都呈现线性关系。
图2-1 图2-2图2-3 2.进行因果关系检验从三个因果关系检验可以看出,GDPS是CS的因;CS不是CZ 的因;GDPS不是SLC的因。
但根据理论CS是CZ的因,GDPS是SLC的因,可能是由于指标设置问题。
所以还是把CS作为应变量,GDPS作为解释变量;CZ作为应变量,CS作为解释变量;SLC作为应变量,GDPD作为解释变量进行一元线性回归分析。
一元线性回归效果的显著性检验(F检验法)前面我们给出了一元回归直线方程的求解即一元线性回归中未知参数的最小二乘估计.那么这条回归直线对观测数据(x i,y i) (i=1,2,…,n) 拟合的程度如何?是否真正体现x、y 之间的这种线性关系,这就需要对回归效果的好坏进行检验.这种检验是评价方程对总体的代表性的所谓线性关系的显著性检验.检验x与y是否具有线性关系,以及它们之间的密切程度,这就是回归直线方程的效果检验所要解决的问题.由一元线性回归的数学模型可知,一元线性回归的数学模型是y=a+bx+εε~N(0, σ2)即随机变量y的数学期望是自变量x的线性函数,然而这样的假设是否合理呢?若在y=a+bx+ε中b=0,说明x的变化对y没有影响,这时回归方程就不能近似地描述变量x与y之间的关系,因此为了判断x与y之间是否存在线性关系,只需检验假设:H0:b=0此问题也称为线性回归方程的显著性检验问题.我们要根据观测数据(x i,y i) (i=1,2,…,n)作出拒绝或接受原假设b=0的判断.拒绝原假设才能确认我们的线性回归模型是合理的,接受原假设表示不能认为x、y之间有线性相关关系.如何构造统计量来检验这个假设问题呢?我们先把变量y的离差平方和予以分解.(点击此处看分解过程)=Q+U其中是回归值与其平均值的离差平方和,而,可以把看成是由于x的变化而引起的y值变化,因此称之为回归平方和;反映的是观测值与回归值之间的离差平方和,它表示除x对y的线性影响之外的一切因素引起的y值的变化,称之为误差平方和或残差平方和.而∴数学上我们可以证明,当H0为真时,统计量~F(1, n-2).对于给定的显著性水平α,查自由度为(1,n-2)的F分布临界值表,可得临界值Fα(1, n-2) 使得.其拒绝域为W={F>Fα(1, n-2)}.例在某大学一年级新生体检表中,随机抽取10张,得到10名大学生的身高(x)和体重(y)的数据如下,试求体重关于身高的线性回归方程,并检验回归方程的显著性(α=0.05)?身高x i/cm 体重y i/kg 身高x i/cm 体重y i/kg162 170 166 158 174 51545247631661671701731685955605754解.根据表中数据,列出下列计算表. 回归直线方程的计算步骤(I)i x i y i x i2y i 2x i y i1 2 3 4 5 6 7 8 9 10 Σ1621701661581741661671701731681674515452476359556057545522624428900275562496430276275562788928900299292822428043826012916270422093969348130253600324929163067082629180863274261096297949185102009861907292574,,,,,∴,.因此线性回归方程为:.下面我们来检验身高x与体重y之间是否具有显著的线性关系.根据题意,我们作假设H0: b=0 . n=10 ,,,∴.对于给定的α=0.05,查F分布临界值表得到临界值:F0.05(1, 8)=5.32.显然,F0=19.12> F0.05(1, 8)=5.32,故拒绝H0,即由F检验法可知,身高x与体重y 之间的线性关系是显著的,且它们之间的关系为:.。
§2.4 一元线性回归的模型检验一、经济意义检验。
二、在一元回归模型的统计检验主要包括如下几种检验1、拟合优度检验(R2检验;2、自变量显著性检验(t检验;3、残差标准差检验(SE检验。
•主要检验模型参数的符号、大小和变量之间的相关关系是否与经济理论和实际经验相符合。
一、经济意义检验i•二、统计检验•回归分析是要通过样本所估计的参数来代替总体的真实参数,或者说是用样本回归线代替总体回归线。
•尽管从统计性质上已知,如果有足够多的重复抽样,参数的估计值的期望(均值就等于其总体的参数真值,但在一次抽样中,估计值不一定就等于该真值。
那么,在一次抽样中,参数的估计值与真值的差异有多大,是否显著,这就需要进一步进行统计检验。
1、拟合优度检验拟合优度检验:对样本回归直线与样本观测值之间拟合程度的检验。
度量拟合优度的指标:判定系数(可决系数R2(1、总离差平方和的分解已知由一组样本观测值(X i ,Y i ,通过估计得到如下样本回归直线ii X Y 10ˆˆˆββ+=i i i i i i i y e Y Y Y Y Y Y y ˆˆ(ˆ(+=-+-=-=总离差平方和的分解ii X Y 10ˆˆˆββ+=ˆ(ˆY Y y i i -=i i i i i i i ye Y Y Y Y Y Y y ˆˆ(ˆ(+=-+-=-=Y 的i 个观测值与样本均值的离差由回归直线解释的部分回归直线不能解释的部分离差分解为两部分之和总离差平方和的分解公式:TSS=RSS+ESS,TSS 总离差平方和,ESS 为回归平方和,RSS 为残差平方和.((((((((0ˆˆˆ,0.0ˆˆ(ˆ(ˆˆ(2ˆˆ: 1022222222ˆˆˆˆˆˆ=+===-=-=--+=+=-+-=-+--+-=-+-=-=∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑ii i i i i ii i i i i i i i i i i i i i i i i i i i i i X e e Y e e e Y Y e Y Y e Y Y ESS RSS y e Y Y Y Y TSS Y Y Y YY Y Y YY Y Y Y Y Y Y Y ββ而因为证明TSS=ESS+RSSY的观测值围绕其均值的总离差(total variation可分解为两部分:一部分来自回归线(ESS,另一部分则来自随机部分(RSS。
一元线性回归模型的统计检验概述(doc 8页)§2.3 一元线性回归模型的统计检验回归分析是要通过样本所估计的参数来代替总体的真实参数,或者说是用样本回归线代替总体回归线。
尽管从统计性质上已知,如果有足够多的重复抽样,参数的估计值的期望(均值)就等于其总体的参数真值,但在一次抽样中,估计值不一定就等于该真值。
那么,在一次抽样中,参数的估计值与真值的差异有多大,是否显著,这就需要进一步进行统计检验。
主要包括拟合优度检验、变量的显著性检验及参数的区间估计。
一、拟合优度检验拟合优度检验,顾名思义,是检验模型对样本观测值的拟合程度。
检验的方法,是构造一个可以表征拟合程度的指标,在这里称为统计量,统计量是样本的函数。
从检验对象中计算出该统计量的数值,然后与某一标准进行比较,得出检验结论。
有人也许会问,采用普通最小二乘估计方法,已经保证了模型最好地拟合了样本观测值,为什么还要检验拟合程度?问题在于,在一个特定的条件下做得最好的并不一定就是高质量的。
普通最小二乘法所保证的最好拟合,是同一个问题内部的比较,拟合优度检验结果所表示优劣是不同问题之间的比较。
例如图2.3.1和图2.3.2中的直线方程都是由散点表示的样本观测值的最小二乘估计结果,对于每个问题它们都满足残差的平方和最小,但是二者对样本观测值的拟合程度显然是不同的。
....... . .. .图2.3.1 图2.3.21、总离差平方和的分解已知由一组样本观测值),(ii Y X ,i =1,2…,n 得到如下样本回归直线i i X Y 10ˆˆˆββ+=而Y 的第i 个观测值与样本均值的离差)(Y Y y i i -=可分解为两部分之和:ii i i i i i y e Y Y Y Y Y Y y ˆ)ˆ()ˆ(+=-+-=-= (2.3.1)图2.3.3示出了这种分解,其中,)ˆ(ˆY Y y ii -=是样本回归直线理论值(回归拟合值)与观测值i Y 的平均值之差,可认为是由回归直线解释的部分;)ˆ(i i i Y Y e -=是实际观测值与回归拟合值之差,是回归直线不能解释的部分。
§2.3 一元线性回归模型的统计检验回归分析是要通过样本所估计的参数来代替总体的真实参数,或者说是用样本回归线代替总体回归线。
尽管从统计性质上已知,如果有足够多的重复抽样,参数的估计值的期望(均值)就等于其总体的参数真值,但在一次抽样中,估计值不一定就等于该真值。
那么,在一次抽样中,参数的估计值与真值的差异有多大,是否显著,这就需要进一步进行统计检验。
主要包括拟合优度检验、变量的显著性检验及参数的区间估计。
一、拟合优度检验拟合优度检验,顾名思义,是检验模型对样本观测值的拟合程度。
检验的方法,是构造一个可以表征拟合程度的指标,在这里称为统计量,统计量是样本的函数。
从检验对象中计算出该统计量的数值,然后与某一标准进行比较,得出检验结论。
有人也许会问,采用普通最小二乘估计方法,已经保证了模型最好地拟合了样本观测值,为什么还要检验拟合程度?问题在于,在一个特定的条件下做得最好的并不一定就是高质量的。
普通最小二乘法所保证的最好拟合,是同一个问题内部的比较,拟合优度检验结果所表示优劣是不同问题之间的比较。
例如图2.3.1和图2.3.2中的直线方程都是由散点表示的样本观测值的最小二乘估计结果,对于每个问题它们都满足残差的平方和最小,但是二者对样本观测值的拟合程度显然是不同的。
图2.3.1 图2.3.21、总离差平方和的分解已知由一组样本观测值),(i i Y X ,i =1,2…,n 得到如下样本回归直线ii X Y 10ˆˆˆββ+= 而Y 的第i 个观测值与样本均值的离差)(Y Y y i i -=可分解为两部分之和:i ii i i i i y e Y Y Y Y Y Y y ˆ)ˆ()ˆ(+=-+-=-= (2.3.1) 图2.3.3示出了这种分解,其中,)ˆ(ˆY Y y ii -=是样本回归直线理论值(回归拟合值)与观测值i Y 的平均值之差,可认为是由回归直线解释的部分;)ˆ(ii i Y Y e -=是实际观测值与回归拟合值之差,是回归直线不能解释的部分。
显然,如果i Y 落在样本回归线上,则Y 的第i 个观测值与样本均值的离差,全部来自样本回归拟合值与样本均值的离差,即完全可由i X X 图2.3.3对于所有样本点,则需考虑这些点与样本均值离差的平方和。
由于 ∑∑∑∑++=i i i i ie y e yyˆ2ˆ222 可以证明∑=0ˆii e y,所以有∑∑∑+=222ˆi i ie yy(2.3.2) 记TSS Y Y yi i=-=∑∑22)(,称为总离差平方和(Total Sum of Squares ),反映样本观测值总体离差的大小;ESS Y Y yii=-=∑∑22)ˆ(ˆ,称为回归平方和(Explained Sum of Squares ),反映由模型中解释变量所解释的那部分离差的大小;∑∑=-=RSS Y Y eii i22)ˆ(,称为残差平方和(Residual Sum of Squares ),反映样本观测值与估计值偏离的大小,也是模型中解释变量未解释的那部分离差的大小。
(2.3.2)表明Y 的观测值围绕其均值的总离差平方和可分解为两部分,一部分来自回归线,另一部分则来自随机势力。
因此,可用来自回归线的回归平方和占Y 的总离差的平方和的比例来判断样本回归线与样本观测值的拟合优度。
读者也许会问,既然RSS 反映样本观测值与估计值偏离的大小,可否直接用它作为拟合优度检验的统计量?这里提出了一个普遍的问题,即作为检验统计量的一般应该是相对量,而不能用绝对量。
因为用绝对量作为检验统计量,无法设置标准。
在这里,RSS ,即残差平方和,与样本容量关系很大,当n 比较小时,它的值也较小,但不能因此而判断模型的拟合优度就好。
2、可决系数2R 统计量 根据上述关系,可以用T S SR S ST S S E S S R -==12(2.3.3) 检验模型的拟合优度,称2R 为可决系数(coefficient of determination )。
显然,在总离差平方和中,回归平方和所占的比重越大,残差平方和所占的比重越小,则回归直线与样本点拟合得越好。
如果模型与样本观测值完全拟合,则有12=R 。
当然,模型与样本观测值完全拟合的情况是不可能发生的,2R 不可能等于1。
但毫无疑问的是该统计量越接近于1,模型的拟合优度越高。
在实际计算可决系数时,在1ˆβ已经估计出后,一个较为简单的计算公式为: ⎪⎪⎭⎫⎝⎛=∑∑22212ˆi i y x R β (2.3.4) 这里用到了样本回归函数的离差形式来计算回归平方和: ∑∑∑===221212ˆ)ˆ(ˆii ix x yESS ββ。
在例2.1.1的收入-消费支出例中,9766.045900207425000)777.0(ˆ222212=⨯==∑∑ii yx R β说明在线性回归模型中,家庭消费支出总变差(variation )中,由家庭可支配收入的变差解释的部分占97.66%,模型的拟合优度较高。
由(2.3.3)知,可决系数的取值范围为102≤≤R ,是一个非负的统计量。
它也是随着抽样的不同而不同,即是随抽样而变动的统计量。
为此,对可决系数的统计可靠性也应进行检验,这将在第3章中进行。
二、变量的显著性检验变量的显著性检验,旨在对模型中被解释变量与解释变量之间的线性关系是否显著成立作出推断,或者说考察所选择的解释变量是否对被解释变量有显著的线性影响。
从上面的拟合优度检验中可以看出,拟合优度高,则解释变量对被解释变量的解释程度就高,线性影响就强,可以推测模型线性关系成立;反之,就不成立。
但这只是一个模糊的推测,不能给出一个统计上的严格的结论。
因此,还必须进行变量的显著性检验。
变量的显著性检验所应用的方法是数理统计学中假设检验。
1、假设检验假设检验是统计推断的一个主要内容,它的基本任务是根据样本所提供的信息,对未知总体分布的某些方面的假设作出合理的判断。
假设检验的程序是,先根据实际问题的要求提出一个论断,称为统计假设,记为H 0;然后根据样本的有关信息,对H 0的真伪进行判断,作出拒绝H 0或接受H 0的决策。
假设检验的基本思想是概率性质的反证法。
为了检验原假设H 0是否正确,先假定这个假设是正确的,看由此能推出什么结果。
如果导致一个不合理的结果,则表明“假设H 0为正确”是错误的,即原假设H 0不正确,因此要拒绝原假设H 0。
如果没有导致一个不合理现象的出现,则不能认为原假设H 0不正确,因此不能拒绝拒绝原假设H 0。
概率性质的反证法的根据是小概率事件原理,该原理认为“小概率事件在一次试验中几乎是不可能发生的”。
在原假设H 0下构造一个事件,这个事件在“原假设H 0是正确”的条件下是一个小概率事件。
随机抽取一组容量为n 的样本观测值进行该事件的试验,如果该事件发生了,说明“原假设H 0是正确”是错误的,因为不应该出现的小概率事件出现了。
因而应该拒绝原假设H 0。
反之,如果该小概率事件没有出现,就没有理由拒绝原假设H 0,应该接受原假设H 0。
2、变量的显著性检验用以进行变量显著性检验的方法主要有三种:F 检验、t 检验、z 检验。
它们的区别在于构造的统计量不同。
应用最为普遍的t 检验,在目前使用的计量经济学软件包中,都有关于t 统计量的计算结果。
我们在此只介绍t 检验。
对于一元线性回归方程中的1ˆβ,已经知道它服从正态分布 ),(~ˆ2211∑ixN σββ进一步根据数理统计学中的定义,如果真实的2σ未知,而用它的无偏估计量)2(ˆ22-=∑n e i σ替代时,可构造如下统计量 1ˆ112211ˆˆˆβββσββS xt i-=-=∑ (2.3.5)则该统计量服从自由度为)2(-n 的t 分布。
因此,可用该统计量作为1β显著性检验的t 统计量。
如果变量X 是显著的,那么参数1β应该显著地不为0。
于是,在变量显著性检验中设计的原假设为:0:10=βH给定一个显著性水平α,查t 分布表(见附录),得到一个临界值)2(2-n t α。
因为t 分布是双尾分布,所以按照α2查t 分布表中的临界值。
于是 t >)2(-n t α(这里的t 已不同于(2.3.5) 式,其中01=β)为原假设H 0下的一个小概率事件。
在参数估计完成后,可以很容易计算t 的数值。
如果发生了t >)2(2-n t α,则在(1-α)的置信度下拒绝原假设H 0,即变量X 是显著的,通过变量显著性检验。
如果未发生t >)2(2-n t α,则在(1-α)置信度下接受原假设H 0,即变量X 是不显著的,未通过变量显著性检验。
对于一元线性回归方程中的0β,可构造如下t 统计量进行显著性检验: 0ˆ002220ˆˆˆβββσββS xn Xt ii-=-=∑∑ (2.3.6)同样地,该统计量服从自由度为)2(-n 的t 分布,检验的原假设一般仍为00=β。
在例2.1.1及例2.2.1的收入-消费支出例中,首先计算2σ的估计值134022107425000777.045900202ˆ2ˆ2221222=-⨯-=--=-=∑∑∑n x y n e i iiβσ于是0ˆβ和1ˆβ的标准差的估计值分别是: 0425.00018.07425000/13402ˆ22ˆ1====∑ixS σβ41.98742500010/5365000013402ˆ222ˆ0=⨯⨯==∑∑i i x n X S σβt 统计量的计算结果分别为:29.180425.0777.0ˆ1ˆ11===ββS t 048.141.9817.103ˆ0ˆ00-=-==ββS t 给定一个显著性水平α=0.05,查t 分布表中自由度为8(在这个例中8)2(=-n )、α=0.05的临界值,得到=)8(2αt 2.306。
可见1t >)2(2-n t α,说明解释变量家庭可支配收入在95%的置信度下显著,即通过了变量显著性检验。
但0t <)2(2-n t α,表明在95%的置信度下,无法拒绝截距项为零的假设。
三、参数的置信区间假设检验可以通过一次抽样的结果检验总体参数可能的假设值的范围(最常用的假设为总体参数值为零),但它并没有指出在一次抽样中样本参数值到底离总体参数的真值有多“近”。
要判断样本参数的估计值在多大程度上可以“近似”地替代总体参数的真值,往往需要通过构造一个以样本参数的估计值为中心的“区间”,来考察它以多大的可能性(概率)包含着真实的参数值。
这种方法就是参数检验的置信区间估计。
要判断估计的参数值iβˆ离真实的参数值i β有多“近”,可预先选择一个概率)10(<<αα,并求一个正数δ,使得随机区间(random interval ))ˆ,ˆ(δβδβ+-ii 包含参数i β的真值的概率为1-α。