非参数半参数模型

第七章 非参数回归模型与半参数回归模型第一节 非参数回归与权函数法一、非参数回归概念前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。

参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。

另一类回归，非参数回归，则与参数回归正好相反。

它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。

设Y 是一维观测随机向量，X 是m 维随机自变量。

在第四章我们曾引进过条件期望作回归函数，即称g (X ) = E (Y |X ) （7.1.1）为Y 对X 的回归函数。

我们证明了这样的回归函数可使误差平方和最小，即22)]([min )]|([X L Y E X Y E Y E L-=-（7.1.2）这里L 是关于X 的一切函数类。

当然，如果限定L 是线性函数类，那么g (X )就是线性回归函数了。

细心的读者会在这里立即提出一个问题。

既然对拟合函数类L (X )没有任何限制，那么可以使误差平方和等于0。

实际上，你只要作一条折线(曲面)通过所有观测点(Y i ，X i )就可以了是的，对拟合函数类不作任何限制是完全没有意义的。

正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对L(X)的一切限制。

在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。

所以我们知道，参数回归与非参数回归的区分是相对的。

用一个多项式去拟合(Y i ，X i )，属于参数回归；用多个低次多项式去分段拟合(Y i ，X i )，叫样条回归，属于非参数回归。

二、权函数方法非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。

这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Y i 的线性组合的某种权函数。

也就是说，回归函数g (X )的估计g n (X )总可以表为下述形式：∑==ni i i n Y X W X g 1)()(（7.1.3）其中｛W i (X )｝称为权函数。

由詹鹏整理，仅供交流和学习根据南京财经大学统计系孙瑞博副教授的课件修改，在此感谢孙老师的辛勤付出！教材为：Luke Keele: Semiparametric Regression for the Social Sciences. John Wiley & Sons, Ltd. 2008.-------------------------------------------------------------------------第一章introduction: Global versus Local Statistic一、主要参考书目及说明1、Hardle(1994). Applied Nonparametic Regresstion. 较早的经典书2、Hardle etc (2004). Nonparametric and semiparametric models: an introduction. Springer. 结构清晰3、Li and Racine(2007). Nonparametric econometrics: Theory and Practice. Princeton. 较全面和深入的介绍，偏难4、Pagan and Ullah (1999). Nonparametric Econometrics. 经典5、Yatchew(2003). Semiparametric Regression for the Applied Econometrician. 例子不错6、高铁梅（2009）. 计量经济分析方法与建模：EVIEWS应用及实例（第二版）. 清华大学出版社. （P127/143）7、李雪松（2008）. 高级计量经济学. 中国社会科学出版社. （P45 ch3）8、陈强（2010）. 高级计量经济学及Stata应用. 高教出版社. （ch23/24）【其他参看原ppt第一章】二、内容简介方法：——移动平均（moving average）——核光滑（Kernel smoothing）——K近邻光滑（K-NN）——局部多项式回归（Local Polynormal）——Loesss and Lowess——样条光滑（Smoothing Spline）——B-spline——Friedman Supersmoother模型：——非参数密度估计——非参数回归模型——非参数回归模型——时间序列的半参数模型——Panel data 的半参数模型——Quantile Regression三、不同的模型形式1、线性模型linear models2、Nonlinear in variables3、Nonlinear in parameters四、数据转换Power transformation（对参数方法）In the GLM framework, models are equally prone(倾向于) to some misspecification（不规范）from an incorrect functional form.It would be prudent（谨慎的）to test that the effect of any independent variable of a model does not have a nonlinear effect. If it does have a nonlinear effect, analysts in the social science usually rely on Power Transformations to address nonlinearity.[ADD: 检验方法见Sanford Weisberg. Applied Linear Regression (Third Edition). A John Wiley & Sons, Inc., Publication.（本科的应用回归分析课教材）]----------------------------------------------------------------------------第二章 Nonparametric Density Estimation非参数密度估计一、三种方法1、直方图Hiatogram2、Kernel density estimate3、K nearest-neighbors estimate二、Histogram 对直方图的一个数值解释Suppose x1,…xN – f(x), the density function f(x) is unknown.One can use the following function to estimate f(x)【与x的距离小于h的所有点的个数】三、Kernel density estimateBandwidth: h; Window width: 2h.1、Kernel function的条件The kernel function K(.) is a continuous function, symmetric(对称的) around zero, that integrates(积分) to unity and satisfies additional bounded conditions:(1) K() is symmetric around 0 and is continuous;(2) ,,;(3) Either(a) K(z)=0 if |z|>=z0 for z0Or(b) |z|K(z) à0 as ;(4) , where is a constant.2、主要函数形式3、置信区间其中，4、窗宽的选择实际应用中，。

generalize additive model
广义加性模型（Generalized Additive Model，GAM）是回归分析中的一种模型，用于处理非参数或半参数的回归问题。

它是一种灵活的建模工具，能够处理多种类型的数据，包括连续变量、分类变量和有序分类变量。

在广义加性模型中，响应变量与解释变量之间的关系被假定为光滑函数的加权和。

这些光滑函数可以是线性、多项式、样条、指数等函数形式，通过选择适当的函数形式来描述响应变量与解释变量之间的关系。

广义加性模型允许解释变量对响应变量的影响是非线性的，这使得它非常适合处理复杂的非线性关系。

在广义加性模型中，模型的参数被假定为未知的，需要通过某种优化算法来估计。

常用的优化算法包括梯度下降法、牛顿-拉夫森方法等。

通过最小化损失函数或残差平方和，优化算法可以找到最佳的参数估计值。

广义加性模型可以应用于各种领域，包括生物医学、经济学、环境科学、金融学等。

在生物医学领域中，它可以用于预测疾病风险、药物反应等；在经济学中，它可以用于预测股票价格、消费行为等；在环境科学中，它可以用于预测气候变化、环境污染等。

总之，广义加性模型是一种强大的非参数和半参数回归分析工具，可以应用于各种领域的数据分析中。

它能够处理复杂的非线性关系，提供更准确的预测结果，并为决策提供有力的支持。

非参数回归模型及半参数回归模型非参数回归模型是一种可以适应任意数据分布的回归方法。

在非参数回归中，不对模型的具体形式进行假设，而是利用样本数据去估计未知的函数形式。

这个函数形式可以用其中一种核函数进行近似，通过核函数的变换，使得样本点在空间中有一定的波动，从而将研究对象与有关因素的关系表达出来。

常见的非参数回归模型有局部加权回归（LOESS）和核回归模型。

局部加权回归是一种常见的非参数回归方法。

它通过给样本中的每个点分配不同的权重来拟合回归曲线。

每个点的权重根据其距离目标点的远近来确定，越近的点权重越大，越远的点权重越小。

这种方法在回归分析中可以较好地处理非线性关系和异方差性问题。

核回归模型是另一种常见的非参数回归方法。

它基于核函数的变换，通过将样本点的权重表示为核函数在目标点的取值，来拟合回归曲线。

核函数通常具有对称性和非负性的特点，常用的核函数有高斯核、Epanechikov核和三角核等。

核回归模型在处理非线性关系和异方差性问题时也具有较好的性能。

相比之下，半参数回归模型是在非参数回归的基础上引入一些参数的回归模型。

它假设一些参数具有一定的形式，并利用样本数据进行估计。

半参数模型可以更好地描述数据之间的关系，同时也可以提供关于参数的统计推断。

半参数回归模型有很多不同的形式，其中一个常见的半参数回归模型是广义加性模型（GAM）。

广义加性模型是通过将各个变量的函数关系进行加总，构建整体的回归模型。

这些函数关系可以是线性的也可以是非线性的，可以是参数化的也可以是非参数化的。

广义加性模型在回归分析中可以同时考虑到线性和非线性关系，广泛应用于各个领域。

在实际应用中，选择使用非参数回归模型还是半参数回归模型需要根据具体情况来决定。

非参数回归模型适用于对数据分布没有先验假设，并且希望对数据进行较为灵活的建模的情况。

半参数回归模型适用于对一些参数有一定假设的情况，可以更好地描述数据之间的关系，并提供统计推断的信息。

非参数模型在社会科学中的应用随着社会科学研究的深入发展和数据采集工具的普及，非参数模型在社会科学中的应用越来越受到关注。

与传统参数模型相比，非参数模型不需要对问题的概率分布进行先验假设，因此更能应对复杂、多样的实际问题，并能提供更为准确的预测结果。

本文将深入探讨非参数模型在社会科学中的应用，并通过实例介绍如何使用这些模型从数据中获取有价值的信息。

一、非参数模型的定义及特点非参数模型是指在没有对问题概率分布进行先验假设的情况下，使用样本数据来估计问题的概率分布，并从中推导出模型的参数。

相较于参数模型，非参数模型更具有灵活性和实用性，因为它可以应对多种复杂的数据形式和模型结构，并能更准确地反映数据的真实情况。

在社会科学研究中，非参数模型通常应用于数据挖掘、统计建模和行为预测等领域，例如人口统计、市场研究和金融分析等。

与参数模型相比，非参数模型具有以下几个特点：1. 不需要对问题的概率分布进行先验假设，能更好地适应数据的真实情况；2. 对异常值和噪音具有较高的鲁棒性，因为它不会因为单个数据点的影响而影响整个模型；3. 能够应对复杂的分布形式和模型结构，如多元变量、非线性关系、无序类别和混合分布等；4. 能够更准确地描述变量之间的关系和预测未来趋势。

二、非参数模型在社会科学中的应用在社会科学研究领域中，非参数模型的应用非常广泛，例如人口统计、市场研究、医疗健康、金融分析等。

下面通过一些实例来介绍非参数模型在这些领域中的应用。

1.人口统计在人口统计学中，非参数模型通常用于预测人口变量的未来趋势和相互关系。

例如，可以使用核密度估计方法来估计人口变量的概率密度函数，这样可以更准确地描述人口变量之间的关系，如年龄、性别、婚姻状况、教育程度等。

另外，非参数模型还可以应用于预测某一特定人群的健康状况或疾病风险等。

2.市场研究在市场研究中，非参数模型通常用于模拟消费者行为和评估市场供需关系。

例如，可以使用K-S距离方法来比较市场中不同产品的质量和价格，从而提出最佳定价策略。

【关键字】分析生存分析概述及其应用实例侯笛摘要：本文对概括性地介绍了生存分析的概念和主要的研究内容。

对生存分析中常用的术语进行了描述，包括生存数据，生存函数，风险函数等。

并阐述了生存数据估计中常用的三种模型（非参数模型，参数模型，半参数模型。

）的原理和方法。

最后借助SPSS软件，用不同的生存分析模型对白鼠的治疗实验数据进行了统计处理，最后得出了影响白鼠生存时间的主要因素。

关键词：生存分析；SPSS；生存数据生存分析是指将终点事件和出现此事件所经历的时间结合起来分析的一种统计分析方法，研究生存现象和现象的响应时间数据以及其规律，是处理以生存时间（survival time）为反应变量、含有删失数据一类资料的统计方法。

此类资料的生存时间变量大多不服从正态分布，且常含有删失值，故不适于用保守的数据分析方法如t检验或线性回归进行分析。

所谓删失值，就是因各种原因对随访对象的随访可能失访或终检。

能处理删失数据也是生存分析的一个优点。

作为统计科学的一个重要分支，生存分析的应用已经由最初的医学领域扩展到了社会科学、经济学等诸多领域。

“事件”和“寿命”是生存分析研究中的两个重要变元。

生存分析研究的主要内容包括以下两个方面：（1）描述生存过程；（2）分析生存过程的影响因素并对生存的结局加以预测。

通常将生存分析所用到的数据称为生存数据，生存数据又分为完整数据和删失数据。

生存分析中常用的分析方法很多，按照是否使用参数可以分为非参数方法，参数方法和半参数方法[1]。

下面将从基本概念，生存分析方法，实例解析三方面作具体的介绍。

1.生存分析中的基本概念1.1 事件和寿命生存生存分析中定义的事件有死亡、损坏、失败、解雇、病发等等。

例如病人的死亡，产品的失效，疾病的发生，职员被解雇。

而寿命则是指试验或记录开始到事件发生所经历的时间。

1.2.生存数据生存数据可以分为完全数据和删失数据。

完全数据是指提供了完整信息的数据。

例如，在研究产品的失效时间时，某个样品从进入研究直到失效都在我们的观察中，可以得到该样品的具体失效时间，这就是一个完全数据。

第七章 非参数回归模型与半参数回归模型第一节 非参数回归与权函数法一、非参数回归概念前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。

参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。

另一类回归，非参数回归，则与参数回归正好相反。

它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。

设Y 是一维观测随机向量，X 是m 维随机自变量。

在第四章我们曾引进过条件期望作回归函数，即称g (X ) = E (Y |X ) （7.1.1）为Y 对X 的回归函数。

我们证明了这样的回归函数可使误差平方和最小，即22)]([min )]|([X L Y E X Y E Y E L-=-（7.1.2）这里L 是关于X 的一切函数类。

当然，如果限定L 是线性函数类，那么g (X )就是线性回归函数了。

细心的读者会在这里立即提出一个问题。

既然对拟合函数类L (X )没有任何限制，那么可以使误差平方和等于0。

实际上，你只要作一条折线(曲面)通过所有观测点(Y i ，X i )就可以了是的，对拟合函数类不作任何限制是完全没有意义的。

正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对L(X)的一切限制。

在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。

所以我们知道，参数回归与非参数回归的区分是相对的。

用一个多项式去拟合(Y i ，X i )，属于参数回归；用多个低次多项式去分段拟合(Y i ，X i )，叫样条回归，属于非参数回归。

二、权函数方法非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。

这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Y i 的线性组合的某种权函数。

也就是说，回归函数g (X )的估计g n (X )总可以表为下述形式：∑==ni i i n Y X W X g 1)()(（7.1.3）其中｛W i (X )｝称为权函数。

半参数最近几十年大量的学者对半参数模型的参数估计和非参数估计做了大量的工作，现在我们其中主要方法进行一个概括介绍，并对其中的补偿最小二乘法和二步估计最小二乘核估计做主要详细的介绍。

第一种参数估计法，就是将非参数分量参数化的估计方法。

关于半参数模型的早期工作是这样的思路:对函数空间附施加一定的限制(主要指光滑性)，由于W 常是无穷维的，通常由光滑性可使用合理的逼近形式，使得W 中的元素参数化。

例如：在函数空间中选定一组基{}i e ，于是1()ni ii s t eλ==∑。

若W 中的元有某种光滑性，使此级数一致收敛，则可用有限和1()ni i i s t e λ==∑逼近。

于是()s t 估计的问题转化为估计有限维参数12(,,,)n λλλλ= ，从而可使用线性模型的方法(如最小二乘法，)同时估计β及λ。

由于这种估计是以非参数分量()s t 的参数化为特征，故大多以使用的参数化的方法命名(如偏光滑样条估计、偏分块多项式估计、分段多项式估计等)。

第二种是两步估计。

两步估计的思路是:先假设x 已知，我们可以做出S 的非参数估计(,)(,)()S t W t Y X βλβ=-，其中的λ为任意的参数，根据(,)W t λ采用的方法的不同，将两步估计分为不同的估计方法(如近邻估计、权估计、核估计、小波估计等).然后定义X 的估计为下述极小问题的解 ：min,(,)T V PV V Y X S t ββ==--求出β的解为β，从而就可以求出(,)S S t β=。

第三种估计方法是两阶段估计.其思路是：(())i E s t α=<∞，2(())i E s t <∞，()i i i e s t α=-+∆，则{}i e 是相互独立的同分布。

且0i Ee =，2i Ee <∞。

那么模型就化为：,(1,2,,)i i i y X e i n αβ=++=对于模型上面的模型使用最小二乘法得到β的估计β(称为β的一次估计):然后基于残差{}i i y X β-，在模型中使用某种方法(如核光滑、概率权、多项式、小波等)估计()s t ，记为()s t 。

半参数模型估计方法概述半参数回归模型,是由Engle etal(1986)在研究天气变化与供电需求之间的关系时引入的,是20世纪80年代以来发展起来的一种重要的统计模型。

主要介绍了两类半参数回归模型:线性半参数回归模型和非线性半参数回归模型。

概述了目前两类半参数回归模型常见的估计方法,这其中主要包括补偿最小二乘估计、核光滑估计,虚拟观测法等。

标签：线性半参数回归模型;非线性半参数回归模型;补偿最小二乘估计;正则核估计;虚拟观测法1 线性半参数模型的估计方法概述线性半参数模型的一般向量形式为:Y=Xβ+S+ε(1)其中Y表示为n维观测向量,Y=(Y1,Y2,…,Y n)T;X为n×p维列满秩设计矩阵,X=(X1,X2,…,X n)T,rank(X)=p;β为p维参数向量,β=(β1,β2,…,βp)T;ε为n维偶然误差向量,εN(0,∑),ε=(ε1,ε2,…,εn);S表示描述系统误差的n维非参数向量,S=(S1,S2,…,S n)T。

1.1 补偿最小二乘估计法对于线性半参数回归模型,将上式改写成观测方程:Y+V=Xβ+S(2)得出V=Xβ+S-Y,将此带入V TPV+αJ(S)=min化简整理为(Xβ+S-Y)TP(Xβ+S-Y)+αS TRS=min(3)由此可以按照求极值方法求解,即满足:(X,I)βS-Y TP(X,I)βS-Y+αβT,S T000R(β,S)=min(4)则法方程为:X TPXX TP PXP+αRβS=X TPX PY(5)从而有X TPXβ+X TPS=X TPY,PXβ+(P+αR)S=PY,由此可以得到=(X TPX)-1X TPY-(X TPX)-1X TPS(6)=(P+αR-PX(X TPX)-1X TP)-1(PY-PX(X TPX)-1X TPY)(7)补偿最小二乘法的关键是如何确定光滑因子α和正则矩阵R,对于α的选择方法可由交叉核实法CV以及L-曲线法等方法确定。

第七章 非参数回归模型与半参数回归模型第一节 非参数回归与权函数法一、非参数回归概念前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。

参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。

另一类回归，非参数回归，则与参数回归正好相反。

它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。

设Y 是一维观测随机向量，X 是m 维随机自变量。

在第四章我们曾引进过条件期望作回归函数，即称g (X ) = E (Y |X ) （7.1.1）为Y 对X 的回归函数。

我们证明了这样的回归函数可使误差平方和最小，即22)]([min )]|([X L Y E X Y E Y E L-=-（7.1.2）这里L 是关于X 的一切函数类。

当然，如果限定L 是线性函数类，那么g (X )就是线性回归函数了。

细心的读者会在这里立即提出一个问题。

既然对拟合函数类L (X )没有任何限制，那么可以使误差平方和等于0。

实际上，你只要作一条折线(曲面)通过所有观测点(Y i ，X i )就可以了是的，对拟合函数类不作任何限制是完全没有意义的。

正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对L(X)的一切限制。

在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。

所以我们知道，参数回归与非参数回归的区分是相对的。

用一个多项式去拟合(Y i ，X i )，属于参数回归；用多个低次多项式去分段拟合(Y i ，X i )，叫样条回归，属于非参数回归。

二、权函数方法非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。

这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Y i 的线性组合的某种权函数。

也就是说，回归函数g (X )的估计g n (X )总可以表为下述形式：∑==ni i i n Y X W X g 1)()(（7.1.3）其中｛W i (X )｝称为权函数。

© 陈强,《高级计量经济学及Stata 应用》课件，第二版，2014 年，高等教育出版社。

第 27 章非参数与半参数估计27.1 为什么需要非参数与半参数估计“参数估计法”(parametric estimation)假设总体服从带未知参数的某个分布(比如正态)，或具体的回归函数，然后估计这些参数。

其缺点是，对模型设定所作的假定较强，可能导致较大的设定误差，不够稳健。

1“非参数估计法”(nonparametric estimation)一般不对模型的具体分布或函数形式作任何假定，更为稳健。

缺点是要求样本容量较大，且估计量收敛的速度较慢。

作为折衷，同时包含参数部分与非参数部分的“半参数方法” (semiparametric estimation)，降低对样本容量的要求，又有一定稳健性。

非参及半参方法与传统的参数法互补；后者不太适用时，可考虑前者。

227.2 对密度函数的非参数估计考虑根据样本数据来推断总体的分布，即密度函数。

如用参数估计法，则先对总体分布的具体形式进行假定。

比如，假设总体服从正态分布N (μ, σ2)，然后估计参数(μ, σ2 )。

如果真实总体与正态分布相去甚远，则统计推断有较大偏差。

如不假设总体分布的具体形式，则为非参数方法。

最原始的非参数方法是画直方图，即将数据的取值范围等分为若干组，计算数据落入每组的频率，以此画图，作为对密度函数的估计。

3直方图的缺点是，即使随机变量连续，直方图始终是不连续的阶梯函数。

为得到对密度函数的光滑估计，Rosenblatt(1956)提出“核密度估计法”(kernel density estimation)。

首先考察直方图的数学本质。

假设要估计连续型随机变量x 在x0处的概率密度f (x)。

概率密度f (x0 )是累积分布函数F (x)在x处的导数：f (x) = limh→0F (x+h) -F (x2h-h)= lim P(x0-h < x <x0+h)h→0 2h45x i - x 0 h f (x nh 2对于样本{x 1, x 2 , , x n }，用数据落入区间(x 0 - h , x 0 + h )的频率来 估计概率P(x 0 - h < x < x 0 + h ) ，得到直方图估计量：ˆ HIST= 1 2hn1 ⋅ ⎧< ⎫∑ 1 ⎨ 1⎬ i =1 ⎩ ⎭f ˆ(x ) 对于区间(x - h , x + h )内的观测值给予相同权重，而区间HIST外的观测值权重为 0。