多项式回归、非线性回归模型 关键词：回归方程的统计检验、拟合优度检验、回归方程的显著性检验、F 检验、回归系数的显著性检验、残差分析、一元多项式回归模型、一元非线性回归模型 一、回归方程的统计检验 1. 拟合优度检验 1. 概念介绍 SST 总离差平方和total SSR 回归平方和regression SSE 剩余平方和error ∑∑∑∑====--= --- =n i i i n i i i n i i i n i i i y y y y y y y y R 1 2 1 2 12 12 2)()?()()?(1 2. 例题1 存在四点(-2,-3)、(-1,-1)、(1,2)、(4,3)求拟合直线与决定系数。 2. 回归方程的显著性检验 ) 2/()2/()?()?(1 212 -= ---= ∑∑==n SSE SSA n y y y y F n i i i n i i i 例6（F 检验） 在合金钢强度的例1中，我们已求出了回归方程，这里考虑关于回归方程的显著性检验，经计算有： 表5 X 射线照射次数与残留细菌数的方差分析表 这里值很小，因此，在显著性水平0.01下回归方程是显著的。 3. 回归系数的显著性检验 4. 残差分析 二、一元多项式回归模型
模型如以下形式的称为一元多项式回归模型： 0111a x a x a x a y n n n n ++++=-- 例1（多项式回归模型） 为了分析X 射线的杀菌作用，用200千伏的X 射线来照射细菌，每次照射6分钟，用平板计数法估计尚存活的细菌数。照射次数记为t ，照射后的细菌数为y 见表1。试求： （1）给出y 与t 的二次回归模型。 （2）在同一坐标系内作出原始数据与拟合结果的散点图。 （3）预测16=t 时残留的细菌数。 （4）根据问题的实际意义，你认为选择多项式函数是否合适？ 表1 X 射线照射次数与残留细菌数 程序1 t=1:15; y=[352 211 197 160 142 106 104 60 56 38 36 32 21 19 15]; p=polyfit(t,y,2)%作二次多项式回归 y1=polyval(p,t);%模型估计与作图 plot(t,y,'-*',t,y1,'-o');%在同一坐标系中做出两个图形 legend('原始数据','二次函数') xlabel('t(照射次数)')%横坐标名 ylabel('y(残留细菌数)')%纵坐标名 t0=16; yc1=polyconf(p,t0)%预测t0=16时残留的细菌数，方法1 yc2=polyval(p,t0)%预测t0=16时残留的细菌数，方法2 即二次回归模型为： 8967.3471394.519897.121+-=t t y
第二讲 插值与数据拟合模型 函数插值与曲线拟合都是要根据一组数据构造一个函数作为近似，由于近似的要求不同，二者的数学方法上是完全不同的。而面对一个实际问题，究竟用插值还是拟合，有时容易确定，有时则并不明显。 在数学建模过程中，常常需要确定一个变量依存于另一个或更多的变量的关系，即函数。但实际上确定函数的形式（线性形式、乘法形式、幂指形式或其它形式）时往往没有先验的依据。只能在收集的实际数据的基础上对若干合乎理论的形式进行试验，从中选择一个最能拟合有关数据，即最有可能反映实际问题的函数形式，这就是数据拟合问题。 一、插值方法简介 插值问题的提法是，已知1+n 个节点n j y x j j ,,2,1,0),,( =，其中j x 互不相同，不妨设b x x x a n =<<<= 10，求任一插值点)(*j x x ≠处的插值*y 。),(j j y x 可以看成是由某个函数)(x g y =产生的，g 的解析表达式可能十分复杂，或不存在封闭形式。也可以未知。 求解的基本思路是，构造一个相对简单的函数)(x f y =，使f 通过全部节点，即),,2,1,0()(n j y x f j j ==，再由)(x f 计算插值，即*)(*x f y =。 1．拉格朗日多项式插值 插值多项式 从理论和计算的角度看，多项式是最简单的函数，设)(x f 是n 次多项式，记作 0111)(a x a x a x a x L n n n n n ++++=-- （1） 对于节点),(j j y x 应有 n j y x L j j n ,,2,1,0,)( == （2） 为了确定插值多项式)(x L n 中的系数011,,,,a a a a n n -，将（1）代入（2），有 ???????=++++=++++=++++---n n n n n n n n n n n n n n n n y a x a x a x a y a x a x a x a y a x a x a x a 01110111110001010 （3） 记 T n T n n n n n n n n n n y y y Y a a a A x x x x x x X ),,,(,),,,(,11110011111 100 ==?????? ? ??=---- 方程组（3）简写成 Y XA = （4） 注意X det 是Vandermonde 行列式，利用行列式性质可得 ∏≤<≤-= n k j j k x x X 0)(det 因j x 互不相同，故0det ≠X ，于是方程（4）中A 有唯一解，即根据1+n 个节点可以确定唯一的n 次插值多项式。 拉格朗日插值多项式 实际上比较方便的做法不是解方程（4）求A ，而是先构造一组基函数： n i x x x x x x x x x x x x x x x x x l n i i i i i i n i i i ,,2,1,0,) ())(()()())(()()(110110 =--------=+-+- （5） )(x l i 是n 次多项式，满足
曲线拟合（curve-fitting ）：工程实践中，用测量到的一些离散的数据},...2,1,0),,{(m i y x i i =求一个近似的函数)(x ?来拟合这组数据，要求所得的拟合曲线能最好的反映数据的基本趋势（即使)(x ?最好地逼近()x f ，而不必满足插值原则。因此没必要取)(i x ?=i y ，只要使i i i y x -=)(?δ尽可能地小）。 原理： 给定数据点},...2,1,0),,{(m i y x i i =。求近似曲线)(x ?。并且使得近似曲线与()x f 的偏差最小。近似曲线在该点处的偏差i i i y x -=)(?δ，i=1,2,...,m 。 常见的曲线拟合方法: 1.使偏差绝对值之和最小 2.使偏差绝对值最大的最小 3.使偏差平方和最小 最小二乘法： 按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法,称为最小二乘法。 推导过程： 1. 设拟合多项式为： 2. 各点到这条曲线的距离之和，即偏差平方和如下： 3. 问题转化为求待定系数0a ...k a 对等式右边求i a 偏导数，因而我们得到 了： ....... 4、 把这些等式化简并表示成矩阵的形式，就可以得到下面的矩阵： 5. 将这个范德蒙得矩阵化简后可得到:
6. 也就是说X*A=Y，那么A = (X'*X)-1*X'*Y，便得到了系数矩阵A，同时，我们也就得到了拟合曲线。 MATLAB实现： MATLAB提供了polyfit（）函数命令进行最小二乘曲线拟合。 调用格式：p=polyfit(x,y,n) [p,s]= polyfit(x,y,n) [p,s,mu]=polyfit(x,y,n) x,y为数据点，n为多项式阶数，返回p为幂次从高到低的多项式系数向量p。x必须是单调的。矩阵s包括R（对x进行QR分解的三角元素）、df(自由度）、normr(残差）用于生成预测值的误差估计。 [p,s,mu]=polyfit(x,y,n)在拟合过程中，首先对x进行数据标准化处理，以在拟合中消除量纲等影响，mu包含标准化处理过程中使用的x的均值和标准差。 polyval( )为多项式曲线求值函数，调用格式： y=polyval(p,x) [y,DELTA]=polyval(p,x,s) y=polyval(p,x)为返回对应自变量x在给定系数P的多项式的值。 [y,DELTA]=polyval(p,x,s) 使用polyfit函数的选项输出s得出误差估计Y DELTA。它假设polyfit函数数据输入的误差是独立正态的，并且方差为常数。则Y DELTA将至少包含50%的预测值。 如下给定数据的拟合曲线： x=[0.5,1.0,1.5,2.0,2.5,3.0]， y=[1.75,2.45,3.81,4.80,7.00,8.60]。 解：MATLAB程序如下： x=[0.5,1.0,1.5,2.0,2.5,3.0]; y=[1.75,2.45,3.81,4.80,7.00,8.60]; p=polyfit(x,y,2) x1=0.5:0.05:3.0; y1=polyval(p,x1); plot(x,y,'*r',x1,y1,'-b') 运行结果如图1 计算结果为： p =0.5614 0.8287 1.1560 即所得多项式为y=0.5614x^2+0.08287x+1.15560 图1 最小二乘法曲线拟合示例 对比检验拟合的有效性： 例：在[0,π]区间上对正弦函数进行拟合，然后在[0,2π]区间画出图形，比较拟合区间和非拟合区间的图形，考察拟合的有效性。 在MATLAB中输入如下代码： clear x=0:0.1:pi; y=sin(x); [p,mu]=polyfit(x,y,9)
matlab_最小二乘法数据拟合 (2012-10-21 12:19:27) 转载▼ 标签： matlab 最小二乘 数据拟合 定义： 最小二乘法（又称最小平方法）是一种数学优化技术。它通过最 小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可 以简便地求得未知的数据，并使得这些求得的数据与实际数据之 间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一 些优化问题也可通过最小化能量或最大化熵用最小二 乘法来表 达。 最小二乘法原理： 在我们研究两个变量（x,y）之间的相互关系时，通 常可以得到一系列成对的数据（x1,y1.x2,y2... xm,ym）；
将这些数据描绘在x -y直角坐标系中，若发现这些点在一条直线附近，可以令这条直线方程如（式1-1）。 Yj= a0 + a1 X （式1-1) 其中：a0、a1 是任意实数 1.多项式曲线拟合:polyfit 1.1常见拟合曲线： 直线：y=a0X+a1 多项式： 一般次数不易过高2 3 双曲线：y=a0/x+a1 指数曲线：y=a*e^b 1.2 matlab中函数 P=polyfit(x,y,n) [P S mu]=polyfit(x,y,n) polyval（P，t）：返回n次多项式在t处的值 注：其中x y已知数据点向量分别表示横纵坐标，n 为拟合多项 式的次数，结果返回：P-返回n次拟合多项式系数从高到低 依次存放于向量P中，S-包含三个值其中normr是残差平方
和，mu-包含两个值mean（x）均值，std（x）标准差。 1.3举例 1. 已知观测数据为： X：0 1 2 3 4 5 6 7 8 9 1 Y：-0.447 1.987 3.28 6.16 7.08 7.34 7.66 9.56 9.48 9.3 11.2 用三次多项式曲线拟合这些数据点： x=0:0.1:1 y=[- 0.447,1.978,3.28,6.16,7.08,7.34,7.66,9.56,9.48,9.3,1 1. 2] plot(x,y,'k.','markersize',25) hold on axis([0 1.3 -2 16]) p3=polyfit(x,y,3) t=0:0.1:1.2: S3=polyval(P3,t); plot(t,S3,'r');
实验题目： 用多项式模型进行数据拟合实验 1 实验目的 本实验使用多项式模型对数据进行拟合，目的在于： （1）掌握数据拟合的基本原理，学会使用数学的方法来判定数据拟合的情况； （2）掌握最小二乘法的基本原理及计算方法； （3）熟悉使用matlab 进行算法的实现。 2 实验步骤 2.1 算法原理 所谓拟合是指寻找一条平滑的曲线，最不失真地去表现测量数据。反过来说，对测量 的实验数据，要对其进行公式化处理，用计算方法构造函数来近似表达数据的函数关系。由于函数构造方法的不同，有许多的逼近方法，工程中常用最小平方逼近（最小二乘法理论）来实现曲线的拟合。 最小二乘拟合利用已知的数据得出一条直线或曲线，使之在坐标系上与已知数据之间的距离的平方和最小。模型主要有：1.直线型2.多项式型3.分数函数型4.指数函数型5.对数线性型6.高斯函数型等，根据应用情况，选用不同的拟合模型。其中多项式型拟合模型应用比较广泛。 给定一组测量数据()i i y x ,，其中m i ,,3,2,1,0 =，共m+1个数据点，取多项式P （x ），使得 min )] ([0 2 2=-=∑∑==m i i i m i i y x p r ，则称函数P （x ）为拟合函数或最小二乘解，此时，令 ∑==n k k k n x a x p 0 )(，使得min ])([02 002=??? ? ??-=-=∑∑∑===m i n k i k i k m i i i n y x a y x p I ，其中 n a a a a ,,,,210 为待求的未知数，n 为多项式的最高次幂，由此该问题化为求),,,(210n a a a a I I =的极值问题。 由多元函数求极值的必要条件：0)(200 =-=??∑∑==m i j i n k i k i k i x y x a a I ，其中n j ,,2,1,0 = 得到： ∑∑∑===+=n k m i i j i k m i k j i y x a x 00 )(，其中n j ,,2,1,0 =，这是一个关于n a a a a ,,,,210 的线 性方程组，用矩阵表示如下所示：
利用Matlab实现直线和平面的拟合 1、直线拟合的matlab代码 % Fitting a best-fit line to data, both noisy and non-noisy x = rand(1,10); n = rand(size(x)); % Noise y = 2*x + 3; % x and y satisfy y = 2*x + 3 yn = y + n; % x and yn roughly satisfy yn = 2*x + 3 due to the noise % Determine coefficients for non-noisy line y=m1*x+b1 Xcolv = x(:); % Make X a column vector Ycolv = y(:); % Make Y a column vector Const = ones(size(Xcolv)); % Vector of ones for constant term Coeffs = [Xcolv Const]\Ycolv; % Find the coefficients m1 = Coeffs(1); b1 = Coeffs(2); % To fit another function to this data, simply change the first % matrix on the line defining Coeffs % For example, this code would fit a quadratic % y = Coeffs(1)*x^2+Coeffs(2)*x+Coeffs(3) % Coeffs = [Xcolv.^2 Xcolv Const]\Ycolv; % Note the .^ before the exponent of the first term % Plot the original points and the fitted curve figure plot(x,y,'ro') hold on x2 = 0:0.01:1; y2 = m1*x2+b1; % Evaluate fitted curve at many points plot(x2, y2, 'g-') title(sprintf('Non-noisy data: y=%f*x+%f',m1,b1)) % Determine coefficients for noisy line yn=m2*x+b2 Xcolv = x(:); % Make X a column vector Yncolv = yn(:); % Make Yn a column vector Const = ones(size(Xcolv)); % Vector of ones for constant term NoisyCoeffs = [Xcolv Const]\Yncolv; % Find the coefficients m2 = NoisyCoeffs(1); b2 = NoisyCoeffs(2); % Plot the original points and the fitted curve figure plot(x,yn,'ro')
多项式回归分析的例子 例如, 不能用变量代换的方法将其转换为可按线性模型方式分析的模型, 需要使用多项式回归分析方法, 令, , , 则模型变换为 , 即可按线性模型方式进行分析。 若回归方程是下面这样拟合的非线性方程: , (1) 其中所有的都是自变量的已知函数而不包括任何未知参数, 若令 , , ………………… , 则式(1)可写成 , 从而可按多元线性回归方式进行分析处理。 多项式回归在回归问题中占特殊的地位, 因为任何函数至少在一个比较小的邻域内可用多项式任意逼近, 因此通常在比较复杂的实际问题中, 可以不问与诸因素的确切关系如何, 而用多项式回归(当然首先应试用最简单的一次多项式即线性回归)进行分析和计算。 例在某化合物的合成试验中, 为了提高产量, 选取了原料配比()、溶剂量()和反应时间()三个因素, 试验结果如表１所示, 请用多项式回归模型拟合试验数据(显著性水平等于0.05)。 表１ (
若收率()与原料配比()、溶剂量()和反应时间()三个因素之间的函数关系近似满足二次回归模型: , (其中溶剂用量对作用很小, 建模时可以不考虑), 按表２数据进行数据输入: 表２ )^2() 本软件给出的回归分析有关的结果如下(与回归分析无关的内容未列出): 指标名称: 收率单位: ? 因素１名称: 时间单位: ? 因素２名称: 时间^2 单位: ? 因素３名称: 配比×时间单位: ? ------------------- 多元回归分析 ------------------- 回归分析采用全回归法, 显著性水平α＝0.05 拟建立回归方程: ｙ = b(0) + b(1)*Ｘ(1) + b(2)*Ｘ(2) + b(3)*Ｘ(3) 回归系数 b(i): b(0)＝ 5.79e-2 b(1)＝ 0.252 b(2)＝-6.48e-2 b(3)＝ 2.83e-2 标准回归系数 B(i):
最小二乘法的多项式拟 合m a t l a b实现 Document serial number【NL89WT-NY98YT-NC8CB-NNUUT-NUT108】
用最小二乘法进行多项式拟合（matlab 实现） 西安交通大学 徐彬华 算法分析： 对给定数据 (i=0 ,1,2,3,..,m),一共m+1个数据点，取多项式P(x),使 函数P(x)称为拟合函数或最小二乘解，令似的 使得 其中，a0，a1,a2,…,an 为待求未知数，n 为多项式的最高次幂，由此，该问题化为求 的极值问题。由多元函数求极值的必要条件： j=0,1,…,n 得到： j=0,1,…,n 这是一个关于a0，a1,a2,…,an 的线性方程组，用矩阵表示如下：
因此，只要给出数据点 及其个数m ，再给出所要拟合的参数n ，则即可求出未知数矩阵（a0，a1,a2,…,an ） 试验题1 编制以函数 为基的多项式最小二乘拟合程序，并用于对下列数据作三次多项式最小二乘拟合(取权函数wi ≡1) x i y i 总共有7个数据点，令m=6 第一步：画出已知数据的的散点图，确定拟合参数n; x=::;y=[,,,,,,]; plot(x,y,'*') xlabel 'x 轴' ylabel 'y 轴' title '散点图' hold on {} n k k x 0=
因此将拟合参数n设为3. 第二步：计算矩阵 A= 注意到该矩阵为（n+1）*(n+1)矩阵， 多项式的幂跟行、列坐标（i,j）的关系为i+j-2,由此可建立循环来求矩阵的各个元素，程序如下： m=6;n=3; A=zeros(n+1); for j=1:n+1 for i=1:n+1 for k=1:m+1 A(j,i)=A(j,i)+x(k)^(j+i-2) end end
Matlab的应用-多项式函数及多项式拟合 本节将向大家简要介绍matlab 在多项式处理方面的应用。 多项式函数主要有： roots 求多项式的根 poly 特征多项式 polyval 多项式的计算 poly2str(p,'x')多项式代换 polyfit 多项式曲线拟合 conv 多项式乘法 deconv 多项式除法 polyder 微分多项式 下面我们将介绍这些函数的用法： 1，roots---求多项式的根 格式:roots(c) 说明:它表示计算一个多项式的根,此多项式系数是向量c的元素.如果c有n+1个元素,那么此多项式为: c(1)*x^n+c(2)*x^(n-1)+c(3)*x^(n-2)+--+c(n)*x+c(n+1) 2，poly---特征多项式 格式：poly(a) 说明:（1）如果a是一个n阶矩阵,poly(a)是一个有n+1个元素的行向量,这n+1个元素是特征多项式的系数(降幂排列). （2）如果a是一个n维向量,则poly(a)是多项式(x-a(1))*(x-a(2))*..(x-a(n))，即该多项式以向量a的元素为根。 3，polyval—多项式计算 格式：polyval(v,s) 说明: 如果v是一个向量,它的元素是一个多项式的系数,那麽polyval(v,s)是多项式在s处的值. 如果s是一个矩阵或是一个向量,则多项式在s中所有元素上求值 例如: v=*1 2 3 4+;vv=poly2str(v,’s’)
(即v=s^3+2*s^2+3*s+4) s=2; x=polyval(v,s) x = 26 例如: v=[1 2 3 4]; s=[2 4]; polyval(v,s) ans=26 112 4，conv-多项式乘法 例：as=[1 2 3] as = 1 2 3 >> az=[2 4 2 1] az = 2 4 2 1 >> conv(as,az) ans = 2 8 16 17 8 3 conv(az,as) ans = 2 8 16 17 8 3 5，deconv-多项式除法 例：deconv(az,as)%返回结果是商式的系数 ans = 2 0 [awwq,qw]=deconv(az,as)%awwq是商式的系数，qw是余式的系数 awwq = 2 0 qw = 0 0 -4 1 6，polyder 微分多项式 polyder(as) ans = 2 2 7，polyfit--多项式曲线拟合 格式::polyfit(x,y,n) 说明:polyfit(x,y,n)是找n次多项式p(x)的系数,这些系数满足在最小二乘法意义下p(x(i)) ~= y(i). “人口问题”是我国最大社会问题之一，估计人口数量和发展趋势是我们制定一系列相关政策的基础。有人口统计年鉴，可查到我国从1949年至1994年人口数据资料如下： 年份 1949
?MATLAB软件提供了基本的曲线拟合函数的命令． 1 多项式函数拟合：a=polyfit(xdata,ydata,n) 其中n表示多项式的最高阶数，xdata，ydata为将要拟合的数据，它是用数组的方式输入．输出参数a 为拟合多项式的系数 多项式在x处的值y可用下面程序计算． y=polyval(a,x) 2 一般的曲线拟合：p=curvefit(‘Fun’,p0,xdata,ydata) 其中Fun表示函数Fun(p,data)的M函数文件，p0表示函数的初值．curvefit()命令的求解问题形式是若要求解点x处的函数值可用程序f=Fun(p,x)计算． 例如已知函数形式，并且已知数据点要确定四个未知参数a，b，c，d． 使用curvefit命令，数据输入；初值输；并且建立函数的M文件（Fun．m）．若定义，则输出 又如引例的求解，MATLAB程序： t=[l：16]；％数据输人 y=[ 4 6．4 8 8．4 9．28 9．5 9．7 9．86 10．2 10．32 10．42 10．5 10．55 1 0．58 10．6] ； plot(t,y,’o’) ％画散点图 p=polyfit(t,y,2) (二次多项式拟合） 计算结果： p=-0.0445 1.0711 4.3252 %二次多项式的系数 由此得到某化合物的浓度y与时间t的拟合函数。 ?zjxdede | 2008-10-17 12:10:06 ?MATLAB软件提供了基本的曲线拟合函数的命令． 1 多项式函数拟合：a=polyfit(xdata,ydata,n) 其中n表示多项式的最高阶数，xdata，ydata为将要拟合的数据，它是用数组的方式输入．输出参数a为拟合多项式的系数 多项式在x处的值y可用下面程序计算． y=polyval(a,x) 2 一般的曲线拟合：p=curvefit(‘Fun’,p0,xdata,y data) 其中Fun表示函数Fun(p,data)的M函数文件，p0表示函数的初值．curvefit()命令的求解问题形式是 若要求解点x处的函数值可用程序f=Fun(p,x)计算． 例如已知函数形式，并且已知数据点要确定四个未知参数a，b，c，d． 使用curvefit命令，数据输入；初值输；并且建立函数的M文件（Fun．m）．若定义，则输出 又如引例的求解，MATLAB程序： t=[l：16]；％数据输人 y=[ 4 6．4 8 8．4 9．28 9．5 9．7 9．86 10．2 10．32 10．42 10．5 1 0．55 10．58 10．6] ；
数据拟合 问题的提出及最小二乘原理 取 x 的n 个不全相同的值n x x x ,,,21 作独立试验，得到样本 ()11,y x ，()22,y x ，…，()n n y x ,，则 i i i bx a y ε++=， 设()2 ,0~σεN i ，各 i ε 相互独立 于是 () 2 ,~σi i bx a N y +， n i ,,2,1 =。且由 n y y y ,,,21 的独立性，知n y y y ,,,21 的联合概率密度为 ()?? ? ?? ?---??? ??=∑=n i i i n bx a y L 12 2 21exp 21σπσ （1） 现用最大似然估计法来估计未知参数 b a ,。对于任意一组观察值 n y y y ,,,21 ，（1）式就是样本的似然函数。显然，要L 取最大值， 只需函数 ()() ∑=--=n i i i bx a y b a Q 12 , 取最小值。 如果 y 不是正态变量，则直接用（1）式估计b a ,使 y 的观察值 i y 与 i bx a + 偏差的平方和 ()b a Q , 为最小。这种方法叫最小二乘法。 如果y 是正态变量，则最小二乘法与最大似然估计法给出相同的结果。 取 ()b a Q ,分别关于b a ,的偏导数，并令它们等于0，得到b a ,
应满足方程 ()()???????=---=??=---=??∑∑==020211n i i i i n i i i x x b a y b Q x b a y a Q （2） （2）式称为正规方程组。解此方程组即可确定 b a ,，从而得到直线方程 bx a y +=*。 对一组测定数据用最小二乘原理找出其合适的数学公式，可以分以下几步： 1． 由观测数据作出散点图 2． 根据散点图确定近似公式的函数类 3． 用最小二乘原理确定函数中的未知参数 这一方法称为数据拟合法。 常用的曲线（函数类）有直线、多项式、双曲线、指数曲线等，实际操作中可以在直观判断的基础上，选几种曲线分别做拟合，然后比较看哪条曲线的最小二乘指标最小。 一． 多变量的数据拟合 若影响变量 y 的因素不只是一个，而是几个，譬如有 k 个因素 k x x x ,,,21 ，这时通过n 次实验可以得到数据表： 实验 1x 2x … k x y 1 11x 21x … 1k x 1y 2 12x 22x … 2k x 2y … … … … … … n n x 1 n x 2 … kn x n y
常见非线性回归模型 1.简非线性模型简介 非线性回归模型在经济学研究中有着广泛的应用。有一些非线性回归模型可以通 过直接代换或间接代换转化为线性回归模型,但也有一些非线性回归模型却无 法通过代换转化为线性回归模型。 柯布—道格拉斯生产函数模型 y AKL 其中L和K分别是劳力投入和资金投入, y是产出。由于误差项是可加的, 从而也不能通过代换转化为线性回归模型。 对于联立方程模型,只要其中有一个方程是不能通过代换转化为线性,那么这个联立方程模型就是非线性的。 单方程非线性回归模型的一般形式为 y f(x1,x2, ,xk; 1, 2, , p) 2.可化为线性回归的曲线回归 在实际问题当中，有许多回归模型的被解释变量y与解释变量x之间的关系都不是线性的，其中一些回归模型通过对自变量或因变量的函数变换可以转化为
线性关系，利用线性回归求解未知参数，并作回归诊断。如下列模型。 （1）y 0 1e x （2）y 0 1x2x2p x p （3）y ae bx (4)y=alnx+b 对于（1）式，只需令x e x即可化为y对x是线性的形式y01x，需要指出的是，新引进的自变量只能依赖于原始变量，而不能与未知参数有关。 对于（2）式，可以令x1=x,x2=x2,?,x p=x p,于是得到y关于x1,x2,?, x p 的线性表达式y 0 1x12x2 pxp 对与（3）式，对等式两边同时去自然数对数，得lnylnabx ,令 y lny, 0 lna, 1 b，于是得到y关于x的一元线性回归模型： y 0 1x。 乘性误差项模型和加性误差项模型所得的结果有一定差异，其中乘性误差项模型认为yt本身是异方差的，而lnyt是等方差的。加性误差项模型认为yt是等 方差的。从统计性质看两者的差异，前者淡化了y t值大的项（近期数据）的作用， 强化了y t值小的项（早期数据）的作用，对早起数据拟合得效果较好，而后者则 对近期数据拟合得效果较好。 影响模型拟合效果的统计性质主要是异方差、自相关和共线性这三个方面。 异方差可以同构选择乘性误差项模型和加性误差项模型解决，必要时还可以使用 加权最小二乘。
Matlab 的应用-多项式函数及多项式拟合 所谓曲线拟合是指给定平面上的n 个点(x i ,y i ),i=1,2,….,n,找出一条曲线 使之与这些点相当吻合，这个过程称之为曲线拟合。最常见的曲线拟合是使用多项式来作拟合曲线。曲线拟合最常用的方法是最小二乘法。其原理是求f(x),使21])([i n i i y x f -=∑=δ达到最小。matlab 提供了基本的多项式曲线拟合函数命令 polyfit 格式::polyfit(x,y,n) 说明:polyfit(x,y,n)是找n 次多项式p(x)的系数,这些系数满足在最小二乘法意义下p(x(i)) ~= y(i). 可采用“最小二乘法”求出直线方程。这就是曲线拟合的问题。 已知一组数据，用什么样的曲线拟合最好呢?可以根据散点图进行直观观察，在此基础上，选择几种曲线分别拟合，然后比较，观察那条曲线的最小二乘指标最小。 思考：如何利用matlab 的多项式拟合函数来作曲线拟合？ 例1：在化学反应中，为研究某化合物的浓度随时间的变化规律。测得一组 本题是一个可以用数据的曲线拟合来解决的问题。下面是利用matlab 编的一段程序。 clear; ％录入数据 xy=[1 4 2 6.4 3 8.0 4 8.4 5 9.28 6 9.5 7 9.7 8 9.86 9 10 10 10.2 11 10.32 12 10.42 13 10.5 14 10.55 15 10.58
16 10.6]; x=xy(:,1); y=xy(:,2); plot(x,y,'r*');％画出散点图，观察曲线走势 hold on;t=0:.3:10;pxdxs=polyfit(x,y,2); pxd=poly2sym(pxdxs) pxdx=polyval(pxdxs,t);plot(t,pxdx,'-k') 例2“人口问题”是我国最大社会问题之一，估计人口数量和发展趋势是我们制定一系列相关政策的基础。有人口统计年鉴，可查到我国从1949年至1994
第6章 MATLAB数据分析与多项式计算 习题6 一、选择题 1．设A=[1,2,3,4,5;3,4,5,6,7]，则min(max(A))的值是（）。B A．1 B．3 C．5 D．7 2．已知a为3×3矩阵，则运行mean(a)命令是（）。B A．计算a每行的平均值B．计算a每列的平均值 C．a增加一行平均值D．a增加一列平均值 3．在MATLAB命令行窗口输入下列命令： >> x=[1,2,3,4]; >> y=polyval(x,1); 则y的值为（）。D A．5 B．8 C．24 D．10 4．设P是多项式系数向量，A为方阵，则函数polyval(P,A)与函数polyvalm(P,A)的值（）。D A．一个是标量，一个是方阵B．都是标量 C．值相等D．值不相等 5．在MATLAB命令行窗口输入下列命令： >> A=[1,0,-2]; >> x=roots(A); 则x(1)的值为（）。C A．1 B．-2 C．D． 6．关于数据插值与曲线拟合，下列说法不正确的是（）。A A．3次样条方法的插值结果肯定比线性插值方法精度高。 B．插值函数是必须满足原始数据点坐标，而拟合函数则是整体最接近原始数据点，而不一定要必须经过原始数据点。 C．曲线拟合常常采用最小二乘原理，即要求拟合函数与原始数据的均方误差达到极小。 D．插值和拟合都是通过已知数据集来求取未知点的函数值。 二、填空题 1．设A=[1,2,3;10 20 30;4 5 6]，则sum(A)= ，median(A)= 。 [15 27 39]，[4 5 6[ 2．向量[2,0,-1]所代表的多项式是。2x2-1
数据的n次拟合多项式 第一章绪论 1.1课题国内外研究动态，课题研究背景及意义 1.2国内外的研究现状 1.3发展趋势 第二章数据拟合的基本理论2.1 最小二乘曲线拟合 2.2 线性拟合函数 2.3 二次拟合函数 2.4多项式拟合函数 2.5 小结 第三章数据拟合的应用实例3.1 数据拟合在物理实验中的应用 3.2 数据拟合在经济监控中的应用 3.3 模型评价 参考文献 附录
第一章绪论 1.1课题国内外研究动态，课题研究背景及意义 数学分有很多学科，而它主要的学科大致产生于商业计算的需要、了解数字间的关系、测量土地及预测天文事件。而在科技飞速发展的今天数学也早已成为众多研究的基础学科。尤其是在这个信息量巨大的时代，实际问题中得到的离散数据的处理也成为数学研究和应用领域中的重要的课题。 在解决实际工程问题和科学实验的过程中，经常需要通过研究某些变量之间的函数关系，帮我们去认识事物内在的规律和本质属性，这些变量间的未知的关系一般隐含在从观测、试验而得到的一组离散的数据之中。所以，是否能够根据一组试验观测数据来找到变量之间的相对准确的函数关系成为了解决工程实际问题的关键。 在实际问题中，通过观测数据能否正确揭示某些变量之间的关系，进而正确认识事物的内在规律与本质属性，往往取决于两方面因素。其一是观测数据的准确性或准确程度，这是因为在获取观测数据的过程中一般存在随机测量误差，导致所讨论的变量成为随机变量。其二是对观测数据处理方法的选择，即到底是采用插值方法还是用拟合方法[1-3]，插值方法之中、拟合方法之中又选用哪一种插值或拟合技巧来处理观测数据。插值问题忽略了观测误差的影响，而拟合问题则考虑了观测误差的影响。但由于观测数据客观上总是存在观测误差，而拟合函数大多数情况下是通过经验公式获得的，因此要正确揭示事物的内在规律，往往需要对大量的观测数据进行分析，尤为重要的是进行统计分析。统计分析的方法有许多，如方差分析、回归分析等。数据拟合虽然较有效地克服了随机观测误差的影响，但从数理统计的角度看，根据一个样本计算出来的拟合函数(系数)，只是拟合问题的一个点估计，还不能完全说明其整体性质。因此，还应该对拟合函数作区间估计或假设检验，如果置信区间太大或包含零点，则由计算得到的拟合函数系数的估计值就毫无意义。 所以，据科学和工程问题可以通过比如采样、实验等方法而得到若干的离散的数据，根据这些离散的数据，我们往往希望能得到一个连续函数(也就是曲线)或者更加密集的离散方程与已知数据相吻合。这个过程叫做拟合。也就是说，如果数据不能满足某一个特定的函数的时候，而要求我们所要求的逼近函数“最优的” 靠近那些数据点，按照误差最小的原则为最优标准来构造出函数。我们称这个函数为拟合函数。 现在，对数据点进行函数拟合以获得信息模型是许多工程应用领域的一个核
1.线性最小二乘法 x=[19 25 31 38 44]'; y=[19.0 32.3 49.0 73.3 97.8]'; r=[ones(5,1),x.^2]; ab=r\y % if AB=C then B=A\C x0=19:0.1:44; y0=ab(1)+ab(2)*x0.^2; plot(x,y,'o',x0,y0,'r') 运行结果： 2.多项式拟合方法 x0=[1990 1991 1992 1993 1994 1995 1996]; y0=[70 122 144 152 174 196 202]; a=polyfit(x0,y0,1) y97=polyval(a,1997) x1=1990:0.1:1997; y1=a(1)*x1+a(2);
plot(x1,y1) hold on plot(x0,y0,'*') plot(1997,y97,'o') 3.最小二乘优化 3.1 lsqlin函数 例四： x=[19 25 31 38 44]'; y=[19.0 32.3 49.0 73.3 97.8]'; r=[ones(5,1),x.^2]; ab=lsqlin(r,y) x0=19:0.1:44; y0=ab(1)+ab(2)*x0.^2; plot(x,y,'o',x0,y0,'r') 3.2lsqcurvefit函数
（1）定义函数 function f=fun1(x,tdata); f=x(1)+x(2)*exp(-0.02*x(3)*tdata); %其中x(1)=a，x(2)=b，x(3)=k （2） td=100:100:1000; cd=[4.54 4.99 5.35 5.65 5.90 6.10 6.26 6.39 6.50 6.59]; x0=[0.2 0.05 0.05]; x=lsqcurvefit(@fun1,x0,td,cd) %x(1)=a，x(2)=b，x(3)=k t=100:10:1000; c=x(1)+x(2)*exp(-0.02*x(3)*t); plot(t,c) hold on plot(td,cd,'*')
最小二乘法的基本原理和多项式拟合 一、最小二乘法的基本原理 从整体上考虑近似函数)(x p 同所给数据点),(i i y x (i=0,1,…,m)误差 i i i y x p r -=)((i=0,1,…,m) i i i y x p r -=)((i=0,1,…,m)绝对值的最大值i m i r ≤≤0max ，即误差 向量 T m r r r r ),,(10 =的∞—范数；二是误差绝对值的和∑=m i i r 0 ，即误差向量r 的1— 范数；三是误差平方和∑=m i i r 2 的算术平方根，即误差向量r 的2—范数；前两种 方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方， 因此在曲线拟合中常采用误差平方和∑=m i i r 02 来 度量误差i r (i=0，1，…，m)的整 体大小。 数据拟合的具体作法是：对给定数据 ),(i i y x (i=0,1,…，m)，在取定的函数类Φ中,求Φ∈)(x p ,使误差i i i y x p r -=)((i=0,1,…,m)的平方和最小，即 ∑=m i i r 2 [] ∑==-m i i i y x p 0 2 min )( 从几何意义上讲，就是寻求与给定点),(i i y x (i=0,1,…,m)的距离平方和为最小的曲线 )(x p y =（图6-1）。函数)(x p 称为拟合函数或最小二乘解，求拟合 函数p(x)的方法称为曲线拟合的最小二乘法。 合中，函数类Φ可有不同的选取方法 . 6—1
二 多项式拟合 假设给定数据点),(i i y x (i=0,1,…,m)， Φ为所有次数不超过)(m n n ≤的多项式构成的函数类，现求一 Φ ∈=∑=n k k k n x a x p 0)(,使得 [] min )(0 02 02 =??? ??-=-=∑∑∑===m i m i n k i k i k i i n y x a y x p I (1) 当拟合函数为多项式时，称为多项式拟合，满足式（1）的)(x p n 称为最小二乘拟合多项式。特别地，当n=1 时，称为线性拟合或直线拟合。 显然 ∑∑==-=m i n k i k i k y x a I 0 2 0)( 为n a a a ,,10的多元函数，因此上述问题即为求),,(10n a a a I I =的极值 问题。由多元函数求极值的必要条件，得 n j x y x a a I m i j i n k i k i k j ,,1,0,0)(200 ==-=??∑∑== (2) 即 n j y x a x n k m i i j i k m i k j i ,,1,0, )(0 ==∑∑∑===+ (3) （3）是关于n a a a ,,10的线性方程组，用矩阵表示为 ???? ?? ???? ??????????=???? ????????????????? ??????????? +∑∑∑∑∑∑∑∑∑∑∑=====+==+====m i i n i m i i i m i i n m i n i m i n i m i n i m i n i m i i m i i m i n i m i i y x y x y a a a x x x x x x x x m 0001002010 102000 1 (4) 式（3）或式（4 ）称为正规方程组或法方程组。 可以证明，方程组（4）的系数矩阵是一个对称正定矩阵，故存在唯一解。从式（4）中解出k a (k=0,1,…，n) ，从而可得多项式