回归模型

2
2
ˆ e Q e (n 2)
2
ˆ 称 ˆ e 为剩余方差（残差的方差） e 分别与 ˆ 0 、 1 独立. ， ˆ2
ˆ e
称为剩余标准差.
回归方程的显著性检验
对回归方程 Y 0 1x 的显著性检验，归结为对假设
H
进行检验.
0
: 1 0; H 1 : 1 0
i 1 n
n
i
x y i y x
2
xi
i 1
1 n 1 n 1 n 2 1 n 2 其中 x xi , y y i ， x xi , xy xi y i . n i 1 n i 1 n i 1 n i 1
（经验）回归方程 为 :
matlab统计工具箱 —— 回归分析
1. 2. 3. 4. 多元线性回归 多项式回归 非线性回归 逐步回归
多元线性回归
y 0 1 x1 ... p x p
[b, bint,r,rint,stats]=regress(Y,X,alpha)
回 归 系 数 的 区 间 估 计
（2）区间预测
ˆ ˆ y 的 1 的 预 测 区 间 （ 置 信 ） 区 间 为 ( y 1 , y 2 ) ,其 中
k k ˆ ˆ ˆ y 1 y e 1 c ij x i x j t 1 / 2 ( n k 1 ) i0 j0 k k ˆ ˆ ˆ y y e 1 c ij x i x j t 1 / 2 ( n k 1 ) 2 i0 j0
( 2 ) 在 x 1 x 01 , x 2 x 02 ,..., x k x 0 k , 处 对 y 的 值 作 预 测 与 控 制 ， 即 对 y 作 区 间 估 计 .
参数估计
用最小二乘法求
0 ,..., k 的 估 计 量 ： 作 离 差 平 方 和
n
Q
选择

y
i 1
其中 U
n
n
ˆ y
i 1
i
y （回归平方和）
2
Qe
(y
i 1
i
ˆ 2 yi )
(残差平方和）
（Ⅱ）r检验法
定义 R
U L yy U U Qe
R
2 2
为 y 与 x 1 ,x 2 ,...,x k 的 多 元 相 关 系 数 或 复 相 关 系 数 。
由于 F
（3）从一个变量开始，把变量逐个引入方程；
（4）“有进有出”的逐步回归分析。 以第四种方法，即逐步回归分析法在筛选变量方面较 为理想.
“有进有出”的逐步回归分析
• 从一个自变量开始，视自变量Y作用的显著程度，从大 到地依次逐个引入回归方程。 • 当引入的自变量由于后面变量的引入而变得不显著时， 要将其剔除掉。 • 引入一个自变量或从回归方程中剔除一个自变量，为 逐步回归的一步。 • 对于每一步都要进行Y值检验，以确保每次引入新的显 著性变量前回归方程中只包含对Y作用显著的变量。 • 这个过程反复进行，直至既无不显著的变量从回归方 程中剔除，又无显著变量可引入回归方程时为止。
一元线性回归分析的主要任务是：
1．用试验值（样本值）对 0 、 1 和 作点估计； 2．对回归系数 0 、 1 作假设检验； 3．在 x= x 0 处对 y 作预测，对 y 作区间估计.
1．回归系数的最小二乘估计
有 n 组独立观测值（x1，y1）（x2，y2） ， ，„， n，yn） （x
线性模型和回归系数的检验
假设
H 0 : 1 ... k 0
（Ⅰ）F检验法
当 H0 成 立 时 ， F
U
/k
Q e /( n k 1)
~ F ( k , n k 1)
如 果 F > F 1 - α （ k ， n -k -1 ） 则 拒 绝 H 0 ， 认 为 y 与 x 1 ,… , x k 之 间 显 著 ， 地 有 线 性 关 系 ； 否 则 就 接 受 H 0 ， 认 为 y 与 x 1 ,… , x k 之 间 线 性 关 系 不 显著.
y 0 1 x1 ... k x k
线 性 模 型 (Y , X ,
2
称为回归平面方程.
In ) 考虑的主要问题是：
和
2
(1)用 试 验 值 （ 样 本 值 ） 对 未 知 参 数
间的数量关系；
作 点 估 计 和 假 设 检 验 ， 从 而 建 立 y 与 x 1 , x 2 ,..., x k 之
假设 H 0 : 1 0 被拒绝，则回归显著，认为 y 与 x 存在线性关 系，所求的线性回归方程有意义；否则回归不显著，y 与 x 的关系 不能用一元线性回归模型来描述，所得的回归方程也无意义.
（Ⅰ）F检验法
当 H 0 成立时，
ˆ yi
i 1 n
F
U Q e /( n 2 )
ˆ 0 ˆ 1 b ... ˆ p
残 差
置 信 区 间
Y1 1 Y 1 2 Y X ... ... Yn 1
x11 x 21 ... x n1
x12 x 22 ... xn 2
~F（1，n-2）
其中 U
y （回归平方和）
2
故 F> F1 (1, n 2 ) ，拒绝 H 0 ，否则就接受 H 0 .
（Ⅱ）t 检验法
当 H 0 成立时， T 故T t
ˆ L xx 1 ˆ e
~t（n-2）
1

2
n
( n 2 ) ，拒绝 H 0 ，否则就接受 H 0 .
102 100 98 96 94 92 90 88 86 84 140 145 150 155 160 165
可假设满足线性关系：
y 0 1 x
解：
1、输入数据： x=[143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164]'; X=[ones(16,1) x]; Y=[88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102]'; 2、回归分析及检验： [b,bint,r,rint,stats]=regress(Y,X) 得到结果： b= bint = -16.0730 -33.7071 1.5612 0.7194 0.6047 0.8340 stats = 0.9282 180.9531 0.0000 ˆ ˆ ˆ 即 0 16.073, 1 0.7194 ；ˆ 0 的置信区间为[-33.7017，1.5612], 1的 置 信 区 间 为 [0.6047,0.834]; r2=0.9282, F=180.9531, p=0.0000 。 p<0.05, 可知回归模型 y=-16.073+0.7194x 成立。
ˆ e
Qe n k 1
C = L = (c ij ), L = X ’X
-1
逐步回归
“最优”的回归方程就是包含所有对Y有影响的变量, 而不包含 对Y影响不显著的变量回归方程。 选择“最优”的回归方程有以下几种方法： （1）从所有可能的因子（变量）组合的回归方程中选择最优者； （2）从包含全部变量的回归方程中逐次剔除不显著因子；

2
ˆ ( n 2 ) e
1 n

x
2
L xx

ˆ ˆ 和 1 t ( n 2 ) e / 1 2
L xx
ˆ , 1 t
1

2
ˆ ( n 2 ) e /
L xx


2
的置信水平为 1- 的置信区间为
Qe Qe , 2 2 (n 2) (n 2) 1 2 2
i
其中百度文库L xx
(x
i 1
x)
2


n
xi nx
2
2
i 1
（Ⅲ）r 检验法
(x
记
n
i
x )( y i y )
2
r
i 1

n
( xi x )
i 1

n
( yi y)
2
i 1
当|r|> r 1 时，拒绝 H0；否则就接受 H0.
其中 r1
1 1 n 2 F1 1, n 2
2．回归系数的置信区间
0 和 1 置 信 水 平 为 1 -α 的 置 信 区 间 分 别 为
ˆ ˆ 0 t ( n 2 ) e 1 2 1 n x
2
L xx
ˆ ,0 t
1
x 11 x 21 ... x n1
x 12 x 22 ... x n2
... ... ... ...
x 1k 0 1 x 2k 1 ， ， 2 ... ... ... x nk k n
i
0 1 x i 1 ... k x ik

2
0 ,..., k 使 Q 达 到 最 小 。
解得
ˆ X

T
X
X
1
T
Y

ˆ 得到的 i 代入回归平面方程得： y
ˆ ˆ ˆ 0 1 x 1 ... k x k
ˆ 称为经验回归平面方程.i 称为经验回归系数.
多元线性回归
一般称
Y X 2 E ( ) 0 , COV ( , ) I n
2 为 高 斯 — 马 尔 柯 夫 线 性 模 型 ( k 元 线 性 回 归 模 型 ) ， 并 简 记 为 (Y , X , I n )
y1 1 ... 1 ， X Y ... ... yn 1
身高 腿长
143 88 145 85 146 88 147 91 149 92 150 93 153 93 154 95 155 96 156 98 157 97 158 96 159 98 160 99 162 100 164 102
求身高与腿长的关系。 分析：以身高x为横坐标，以腿长y为纵坐标将这些数据点（xi， yi）在平面直角坐标系上标出：
一般地，称由 y 0 1 x 确定的模型为一元线性回归模型， 记为
y 0 1x 2 E 0, D
固定的未知参数 0 、 1 称为回归系数，自变量 x 也称为回归变量.
Y 0 1 x ，称为 y 对 x 的回归直线方程.
n k 1 k
1 R
，故用 F 和用 R 检验是等效的。
预测
（1）点预测
ˆ ˆ ˆ ˆ 求 出 回 归 方 程 y 0 1 x 1 ... k x k ， 对 于 给 定 自
* ˆ ˆ * ˆ ˆ * 0 1 x 1 ... k x k 来 预 测 变 量 的 值 x 1 ,..., x k ， 用 y * * ˆ* y 0 1 x 1 ... k x k .称 y 为 y 的 点 预 测 . * *
ˆ ˆ ˆ ˆ y 0 1x y 1(x x)
2． 2 的无偏估计
ˆ ˆ 记 Qe Q ( 0 , 1)
y
n i 1
i
ˆ ˆ 0 1 xi
(y
2 n i 1
i
ˆ 2 yi )
称 Qe 为残差平方和或剩余平方和.
的无偏估计为
2
ˆ ˆ 最小二乘法就是选择 0 和 1 的估计 0 ， 1 使得
ˆ ˆ Q ( 0 , 1 ) min Q ( 0 , 1 )
0 ,1
解得
ˆ ˆ 0 y 1x ˆ xy x y 1 2 2 x x
或
ˆ 1
x
... ... ... ...
x1 p x2 p ... x np
相关系数 r2 越接近 1，说明回归方程越显著； F > F1-α （k，n-k-1）时拒绝 H0，F 越大，说明回归方程越显著； 与 F 对应的概率 p 时拒绝 H0 ，回归模型成立.
例: 测16名成年女子的身高与腿长所得数据如下：
y i 0 x1 i , i 1, 2, ..., n 设 2 且 1 2 , ..., n 相 互 独 立 E i 0, D i
记
Q Q ( 0 , 1)

n

2 i

i 1
yi
i 1
n
0 1 xi