线性回归推导及实例

实验三线性回归分析

一、实验学时

4学时（课内2学时，课外2学时）

二、实验类型

验证性实验

三、实验目的

1、熟悉matlab的开发环境

2、掌握线性回归分析的基本理论

3、线性回归公式推导

4、用matlab实现线性回归分析

四、所需设备及软件

1、安装了windows xp/win7/win8/win10的计算机

2、matlab开发工具

五、实验基本原理

1、回归分析基本概述

利用数理统计中的回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。分析按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。本实验主要针对线性回归。

在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。

回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。

线性回归是回归分析中第一种经过严格研究并在实际应用中广泛使用的类型。用作预测、识别冗余信息等。

2、线性回归模型

利用线性回归分析来解决实际问题，关键需要计算这个回归模型，根据模型进行预测。

例子：以一简单数据组来说明什么是线性回归。假设有一组数据型态为y=y(x)，其中x={0, 1, 2, 3, 4, 5}, y={5, 25, 50, 78, 88, 110}，如果要以一个最简单的方程式来近似这组数据，则用一阶的线性方程式最为适合：y=bx+a，需要根据已知的数据，来计算出a和b的值。如果有新的x，即可根据这个模型预测其对应的y。见下图

线性回归方程推导

线性回归——正规方程推导过程

线性回归——正规方程推导过程

我们知道线性回归中除了利用梯度下降算法来求最优解之外，还可以通过正规方程的形式来求解。

首先看到我们的线性回归模型：

f(xi)=wTxif(x_i)=w^Tx_if(xi?)=wTxi?

其中w=(w0w1.wn)w=begin{pmatrix}w_0w_1.w_nend{pmatrix}w=?w0 w1. wn?，xi=(x0x1.xn)x_i=begin{pmatrix}x_0x_1.x_nend{pmatrix}xi?=?x0 ?x 1?.xn?，m表示样本数，n是特征数。

然后我们的代价函数(这里使用均方误差)：

J(w)=∑i=1m(f(xi)?yi)2J(w)=sum_{i=1}^m(f(x_i)-y_i)^2J(w)

=i=1∑m?(f(xi?)?yi?)2

接着把我的代价函数写成向量的形式：

J(w)=(Xw?y)T(Xw?y)J(w)=(Xw-y)^T(Xw-y)J(w)=(Xw?y)T(Xw?y) 其中X=(1x11x12?x1n1x21x22?x2n?1xm1xm2?xmn)X=begin{pmatrix}

1 x_{11} x_{12} cdots x_{1n}

1 x_{21} x_{22} cdots x_{2n}

vdots vdots vdots ddots vdots

1 x_{m1} x_{m2} cdots x_{mn}

end{pmatrix}X=?11?1?x11?x21?xm1?x12?x22?xm2?x1n?x2n xmn

线性回归方程推导

sklearn - 线性回归(正规方程与梯度下降)

一: 线性回归方程

线性回归（英语：linear regression）是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量

之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量

的情况称为简单回归，大于一个自变量情况的叫做多元回归

在线性回归中，数据使用线性预测函数来建模，并且未知的模型参数也是通过数据来估计。这些模型被叫做

线性模型。最常用的线性回归建模是给定X值的y的条件均值是X的仿射函数。不太一般的情况，线性回归模型可以

是一个中位数或一些其他的给定X的条件下y的条件分布的分位数作为X的线性函数表示。像所有形式的回归分析一

样，线性回归也把焦点放在给定X值的y的条件概率分布，而不是X 和y的联合概率分布（多元分析领域）。

线性回归有很多实际用途。分为以下两大类：

如果目标是预测或者映射，线性回归可以用来对观测数据集的和X的值拟合出一个预测模型。当完成这样一个

模型以后，对于一个新增的X值，在没有给定与它相配对的y的情况下，可以用这个拟合过的模型预测出一个y

给定一个变量y和一些变量X1X1.,XpXp{displaystyle

X_{1}}X_1.,{displaystyle X_{p}}X_pX1?X1?.,Xp?Xp?，这些变量有可能与y相关，线性回归分析可以用来量化y与Xj之

间相关性的强度，评估出与y不相关的，XjXj{displaystyle X_{j}}X_jXj?Xj?并识别出哪些XjXj{displaystyle X_{j}}X_jXj?Xj?的子集包含了关于y的冗余信息。

线性回归——正规方程推导过程

线性回归——正规方程推导过程

我们知道线性回归中除了利用梯度下降算法来求最优解之外，还可以通过正规方程的形式来求解。

首先看到我们的线性回归模型：

f(xi)=wTxif(x_i)=w^Tx_if(xi?)=wTxi?

其中w=(w0w1.wn)w=begin{pmatrix}w_0w_1.w_nend{pmatrix}w=?w0?w1?. wn?，xi=(x0x1.xn)x_i=begin{pmatrix}x_0x_1.x_nend{pmatrix}xi?=?x0 x1.xn，m表示样本数，n是特征数。

然后我们的代价函数(这里使用均方误差)：

J(w)=∑i=1m(f(xi)?yi)2J(w)=sum_{i=1}^m(f(x_i)-y_i)^2J(w) =i=1∑m?(f(xi?)?yi?)2

接着把我的代价函数写成向量的形式：

J(w)=(Xw?y)T(Xw?y)J(w)=(Xw-y)^T(Xw-y)J(w)=(Xw?y)T(Xw?y) 其中X=(1x11x12?x1n1x21x22?x2n?1xm1xm2?xmn)X=begin{pmatrix}

1 x_{11} x_{12} cdots x_{1n}

1 x_{21} x_{22} cdots x_{2n}

vdots vdots vdots ddots vdots

1 x_{m1} x_{m2} cdots x_{mn}

end{pmatrix}X=?11?1?x11?x21?xm1?x12?x22?xm2?x1n?x2n?xmn?

线性回归方程b的公式推导

线性回归方程b是统计学中一种重要的回归分析技术，它是为了预测一个或多个变量之间的关系而拟合的数学模型，它可以帮助我们更好地理解模型中的变量之间的特定关系，并可以用来预测未知的分类问题。线性回归方程b属于传统的机器学习算法之一，广泛用于各行各业。

线性回归方程b的定义为：Y或者Yi是解释变量，X者 Xi解释变量，b系数，u残差项。如果某一变量Yi具有另一变量Xi的线性拟合关系，则Yi可以用Xi来描述，这个关系可以用线性回归方程b 来表达：Yi = bX1 + bX2 + + bXn + u。线性回归模型的参数b又分成两部分，一部分是回归系数，是描述变量的关系的，一部分是残差项，即残差是形成的拟合曲线的垂直距离，表示因为未知的原因而无法拟合的数据。

有了线性回归方程b，此时我们就可以开始推导线性回归方程b 的公式来求解回归系数b了。首先，将方程Yi = bX1 + bX2 + + bXn + u转换为矩阵形式，Yi = BX + u，其中，B为系数矩阵（由回归系数b组成），X为自变量矩阵（由解释变量Xi组成），u为残差项。

接着，在只有唯一解的前提下，可用最小二乘法（OLS）来求解回归系数b的值：BOLS=(XX)^(-1)XY，其中XX是X的转置矩阵乘以X矩阵为正定阵，XY是X的转置矩阵乘以Y矩阵。

有了上述的公式，我们就可以进行求解回归系数b的值了。回归系数b的求解可分为以下几步：首先，从样本中抽取多个解释变量和

一个被解释变量；然后，计算XX和XY；接下来，计算BOLS，即（XX）^(-1)XY；最后，根据BOLS确定其中的回归系数b。

sklearn - 线性回归(正规方程与梯度下降)

一: 线性回归方程

线性回归（英语：linear regression）是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量

之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量

的情况称为简单回归，大于一个自变量情况的叫做多元回归

在线性回归中，数据使用线性预测函数来建模，并且未知的模型参数也是通过数据来估计。这些模型被叫做

线性模型。最常用的线性回归建模是给定X值的y的条件均值是X的仿射函数。不太一般的情况，线性回归模型可以

是一个中位数或一些其他的给定X的条件下y的条件分布的分位数作为X的线性函数表示。像所有形式的回归分析一

样，线性回归也把焦点放在给定X值的y的条件概率分布，而不是X 和y的联合概率分布（多元分析领域）。

线性回归有很多实际用途。分为以下两大类：

如果目标是预测或者映射，线性回归可以用来对观测数据集的和X的值拟合出一个预测模型。当完成这样一个

模型以后，对于一个新增的X值，在没有给定与它相配对的y的情况下，可以用这个拟合过的模型预测出一个y

给定一个变量y和一些变量X1X1.,XpXp{displaystyle

X_{1}}X_1.,{displaystyle X_{p}}X_pX1?X1?.,Xp?Xp?，这些变量有可能与y相关，线性回归分析可以用来量化y与Xj之

间相关性的强度，评估出与y不相关的，XjXj{displaystyle X_{j}}X_jXj?Xj?并识别出哪些XjXj{displaystyle X_{j}}X_jXj?Xj?的子集包含了关于y的冗余信息。

第二节简单线性相关与回归分析

一、相关系数及其检验

（一）相关系数的定义

单相关分析是对两个变量之间的线性相关程度进行分析。单相关分析所采用的尺度为单相关系数，简称相关系数。通常以ρ表示总体的相关系数，以ｒ表示样本的相关系数。

总体相关系数的定义式是：

ρ＝（7.1）式中，Cov（X，Y）是变量X和Y的协方差；Var(X)和Var(Y)分别为变量X和Y的方差。总体相关系数是反映两变量之间线性相关程度的一种特征值，表现为一个常数。

样本相关系数的定义公式是：

（7.2）上式中，和分别是Ｘ和Ｙ的样本平均数。

样本相关系数是根据样本观测值计算的，抽取的样本不同，其具体的数值也会有所差异。容易证明，样本相关系数是总体相关系数的一致估计量。

（二）相关系数的特点

样本相关系数ｒ有以下特点：

1.ｒ的取值介于－１与１之间。

2.当ｒ＝０时，Ｘ与Ｙ的样本观测值之间没有线性关系。

3.在大多数情况下，０＜｜ｒ｜＜１，即Ｘ与Ｙ的样本观测值之间存在着一定的线性关系，当ｒ＞０时，Ｘ与Ｙ为正相关，当ｒ＜０时，Ｘ与Ｙ为负相关。

4.如果｜ｒ｜＝１，则表明Ｘ与Ｙ完全线性相关，当ｒ＝１时，称为完全正相关，而ｒ＝－１时，称为完全负相关。

5.ｒ是对变量之间线性相关关系的度量。ｒ＝０只是表明两个变量之间不存在线性关系，它并不意味着Ｘ与Ｙ之间不存在其他类型的关系。对于二者之间可能存在的非线性相关关系，需要利用其他指标去进行分析。关于这一问题，我们将在后面作进一步讨论。

（三）相关系数的计算

具体计算样本相关系数时,通常利用以下公式：

（7.3）上式是由样本相关系数的定义式推导而来的。

线性回归之最小二乘法

线性回归

Linear Regression——线性回归

是机器学习中有监督机器学习下的一种简单的回归算法。

分为一元线性回归(简单线性回归)和多元线性回归,其中一元线性回归是多元线性回归的一种特殊情况,我们主要讨论多元线性回归如果因变量和自变量之间的关系满足线性关系(自变量的最高幂为一次),那么我们可以用线性回归模型来拟合因变量与自变量之间的关系.

简单线性回归的公式如下:

y^=ax+b hat y=ax+by^?=ax+b

多元线性回归的公式如下:

y^=θTx hat y= theta^T x y^?=θTx

上式中的θthetaθ为系数矩阵,x为单个多元样本.

由训练集中的样本数据来求得系数矩阵,求解的结果就是线性回归模型,预测样本带入x就能获得预测值y^hat yy^?,求解系数矩阵的具体公式接下来会推导.

推导过程

推导总似然函数

假设线性回归公式为y^=θxhat y= theta xy^?=θx.

真实值y与预测值y^hat yy^?之间必然有误差?=y^?yepsilon=hat

y-y?=y^?y,按照中心极限定理(见知识储备),我们可以假定?epsilon?服从正态分布,正态分布的概率密度公式为:

ρ(x)=1σ2πe?(x?μ)22σ2rho (x)=frac {1}{sigmasqrt{2pi}}e^{-frac{(x-mu)^2}{2sigma^2}}ρ(x)=σ2π1e2σ2(x?μ)2?

为了模型的准确性,我们希望?epsilon?的值越小越好,所以正态分布的期望μmuμ为0.概率函数需要由概率密度函数求积分,计算太复杂,但是概率函数和概率密度函数呈正相关,当概率密度函数求得最大值时概率函数也在此时能得到最大值,因此之后会用概率密度函数代替概率函数做计算.

线性回归方程推导

理论推导

机器学习所针对的问题有两种：一种是回归，一种是分类。回归是解决连续数据的预测问题，而分类是解决离散数据的预测问题。线性回归是一个典型的回归问题。其实我们在中学时期就接触过，叫最小二乘法。

线性回归试图学得一个线性模型以尽可能准确地预测输出结果。?

先从简单的模型看起：?

首先，我们只考虑单组变量的情况，有：?使得?

假设有m个数据，我们希望通过x预测的结果f(x)来估计y。其中w和b都是线性回归模型的参数。?

为了能更好地预测出结果，我们希望自己预测的结果f(x)与y 的差值尽可能地小，所以我们可以写出代价函数（cost function）如下：?

接着代入f(x)的公式可以得到：?

不难看出，这里的代价函数表示的是预测值f(x)与实际值y之间的误差的平方。它对应了常用的欧几里得距离简称“欧氏距离”。基于均方误差最小化来求解模型的方法我们叫做“最小二乘法”。在线性回归中，最小二乘法实质上就是找到一条直线，使所有样本数据到该直线的欧式距离之和最小，即误差最小。?

我们希望这个代价函数能有最小值，那么就分别对其求w和b的偏导，使其等于0，求解方程。?

先求偏导，得到下面两个式子：?

很明显，公式中的参数m，b，w都与i无关，简化时可以直接提出来。?

另这两个偏导等于0：?

求解方程组，解得：?

这样根据数据集中给出的x和y，我们可以求出w和b来构建简单的线性模型来预测结果。

接下来，推广到更一般的情况：?

我们假设数据集中共有m个样本，每个样本有n个特征，用X矩阵表示样本和特征，是一个m×n的矩阵：?

线性回归最小二乘法推导

线性回归最小二乘法是一种概率统计模型，用于估计一组数据之间的回归关系。它根据已知的自变量和因变量之间观察数据，来计算出一个最优的参数用于预测新的观察数据。线性回归最小二乘法通常应用于研究特定变量的影响因素分析和预测模型的有效性检验。

线性回归模型的推导是根据最小二乘法来完成的，最小二乘法可以用来估计未知参数的模型。它通常是使用欠拟合的模型，力求尽可能的将模型的结果与真实值拟合的最好。在实际情况中，最小二乘法寻找形如。∑i（y－y^）^^2最小的模型，其中y，y^表示真实值和模型值，最小二乘法可以用来估计线性回归参数。

线性回归最小二乘法的推导是从拟合函数的研究开始的，拟合函数的构造也是有用的，这里介绍一下线性模型的拟合函数。拟合函数定义为，y=f（x）=a+b∗ x，其中a，b是参数，x是观测值，a，b分别表示偏移量和斜率。根据最小二乘法，拟合函数的最优解是使∑i（y－y^）^^2最小的模型参数。

令M=∑i（y－y^）^^2，

求选定拟合函数参数a，b，使其使M函数最小，即对M求导数。在实际求解过程中，由于拟合函数中只含有一维的参数，可将M表示为M=∑r＝1^N（t－t^）^^2,t^=a+b^{符号（X）}，其中N是观测数据的个数，X是观测变量。

利用泰勒展开式扩大M求导数，把M改写为M=∑r=1^N（t-t^）

^2=∑r=1^N（t-a-b^{符号（X）}）^2，对参数a，b求导。令∂M/∂a=0，可以得出a=∑r=1^NYi-∑r=1^NY^i/N，∂M/∂b=0，可以得出b=∑r=1^N （X）Yi-∑r=1^NX^iY^i/∑r=1^NX^i，将代入原有拟合函数，这样就求

线性回归闭式解推导

单词：

multivariate linear regression 多元线性回归

Here I want to show how the normal equation is derived. 此处是如何获得该等式。

Given the hypothesis function. 给出假设函数。 [ha ɪˈp ɒθəs ɪs]

多元线性回归应⽤举例：

幸福度预测：有⾝体、财富、学历等等⾃变量因素，有幸福度因变量因素，有⼀些样本数据，希望得到⼀个从这些⾃变量到幸福度这个因变量的映射函数。

解析过程：

回归函数：

h θ(x )=θ0x 0+θ1x 1+⋯+θn x n

最⼩化平⽅差损失：

J θ0…n

=1

2m m ∑i =1h θx (i )−y (i )2

此处的x (i )和y (i )是第i 个样本数据。

我们需要学习的参数θ可以，可以视为⼀个列向量：θ0

θ1

…

θn 这样回归函数就是：h θ(x )=x θ 。x 是⾏向量形式。

对于求和运算，实际上也可以变换成矩阵相乘的形式。上⾯的最⼩平⽅差损失，可以变换为：

J (θ)=1

2m (X θ−y )T (X θ−y )

这个地⽅的X 是m ⾏，n 列的，m 是样本数⽬，n 是样本中的变量数⽬。y 是⼀个列向量。

不去考虑前⾯的1

2m 这个系数。利⽤线性代数的知识将括号去掉：

J (θ)=(X θ)T −y T (X θ−y )

J (θ)=(X θ)T X θ−(X θ)T y −y T (X θ)+y T y

注意到：X θ实际上⼀个列向量，y 也是⼀个列向量，那么(X θ)T y 和y T (X θ)是相等的。上式可以简化为：

一元线性回归与多元线性回归理论及公式推导

一元线性回归

回归分析只涉及到两个变量的，称一元回归分析。

一元回归的主要任务是从两个相关变量中的一个变量去估计另一个变量，被估计的变量，称因变量，可设为Y；估计出的变量，称自变量，设为X。回归分析就是要找出一个数学模型Y=f（x）y=ax+b

多元线性回归

注：为使似然函数越大，则需要最小二乘法函数越小越好

线性回归中为什么选用平方和作为误差函数？假设模型结果与测量值误差满足，均值为0的高斯分布，即正态分布。这个假设是靠谱的，符合一般客观统计规律。若使模型与测量数据最接近，那么其概率积就最大。概率积，就是概率密度函数的连续积，这样，就形成了一个最大似然函数估计。对最大似然函数估计进行推导，就得出了推导后结果：平方和最小公式

1.x的平方等于x的转置乘以x。

2.机器学习中普遍认为函数属于凸函数（凸优化问题），函数图形如下，从图中可以看出函数要想取到最小值或者极小值，就需要使偏导等于0。

3.一些问题上没办法直接求解，则可以在上图中选一个点，依次一步步优化，取得最小值（梯度优化）

SGD伴随的一个问题是噪音较BGD要多，使得SGD并不是每次迭代都向着整体最优化方向。

解决方案：

1.动态更改学习速率a的大小，可以增大或者减小

2.随机选样本进行学习

批量梯度下降每次更新使用了所有的训练数据，最小化损失函数，如果只有一个极小值，那么批梯度下降是考虑了训练集所有数据，是朝着最小值迭代运动的，但是缺点是如果样本值很大的话，更新速度会很慢。

随机梯度下降在每次更新的时候，只考虑了一个样本点，这样会大大加快训练数据，也恰好是批梯度下降的缺点，但是有可能由于训练数据的噪声点较多，那么每一次利用噪声点进行更新的过程中，就不一定是朝着极小值方向更新，但是由于更新多轮，整体方向还是大致朝着极小值方向更新，又提高了速度。

从统计学看线性回归（1）——⼀元线性回归

⽬录

1. ⼀元线性回归模型的数学形式

2. 回归参数β0 , β1的估计

3. 最⼩⼆乘估计的性质

线性性

⽆偏性

最⼩⽅差性

⼀、⼀元线性回归模型的数学形式

⼀元线性回归是描述两个变量之间相关关系的最简单的回归模型。⾃变量与因变量间的线性关系的数学结构通常⽤式（1）的形式：

y = β0 + β1x + ε (1)

其中两个变量y与x之间的关系⽤两部分描述。⼀部分是由于x的变化引起y线性变化的部分，即β0+ β1x，另⼀部分是由其他⼀切随机因素引起的，记为ε。该式确切的表达了变量x与y之间密切关系，但密切的程度⼜没有到x唯⼀确定y的这种特殊关系。

式（1）称为变量y对x的⼀元线性回归理论模型。⼀般称y为被解释变量（因变量），x为解释变量（⾃变量），β0和β1是未知参数，

成β0为回归常数，β1为回归系数。ε表⽰其他随机因素的影响。⼀般假定ε是不可观测的随机误差，它是⼀个随机变量，通常假定ε满⾜：

（2）

对式（1）两边求期望，得

E(y) = β0 + β1x, （3）

称式（3）为回归⽅程。

E(ε) = 0 可以理解为ε对 y 的总体影响期望为 0，也就是说在给定 x 下，由x确定的线性部分β0 + β1x 已经确定，现在只有ε对 y 产⽣影响，在 x = x0，ε = 0即除x以外其他⼀切因素对 y 的影响为0时，设 y = y0，经过多次采样，y 的值在 y0 上下波动（因为采样中ε不恒等于0），若 E(ε) = 0 则说明综合多次采样的结果，ε对 y 的综合影响为0，则可以很好的分析 x 对 y 的影响（因为其他⼀切因素的综合影响为0，但要保证样本量不能太少）；若 E(ε) = c ≠ 0，即ε对 y 的综合影响是⼀个不为0的常数，则E(y) = β0 + β1x + E(ε)，那么 E(ε) 这个常数可以直接被β0 捕获，从⽽变为公式（3）；若 E(ε) = 变量，则说明ε在不同的 x 下对 y 的影响不同，那么说明存在其他变量也对 y 有显著作⽤。

⼀次线性回归分析详解及推导

线性回归 linear regression

我们需要根据⼀个⼈的⼯作年限 来预测他的 薪酬 （我们假设⼀个⼈的薪酬只要⼯作年限有关系）。

⾸先引⼊必要的类库，并且获得trainning data 。

import tensorflow as tf

import pandas as pd

import numpy as np

unrate = pd.read_csv('SD.csv')

print(unrate)

Year Salary

0 1.0 39451

1 1.

2 46313

2 1.4 37839

3 1.9 43633

4 2.1 39999

.. ... ...

85 12.0 106247

86 12.5 117634

87 12.6 113300

88 13.3 123056

89 13.5 122537

[90 rows x 2 columns]

接着，我们⽤matplotlib 绘制出⼯作年限和薪酬之间的关系的点状图，⽅便我们更加直观的感受他们之间的关系。

from matplotlib import pyplot as plt

unrate = unrate.sort_values('Year')

plt.scatter(unrate['Year'],unrate['Salary'])

plt.show()

根据上图的关系，我们可以看到：他们基本上还是成正相关的。考虑到只有⼀维数据，我们假定存在⼀个函数，可以描述⼯作年限和薪酬之间的关系。我们假定该函数为：

ˆy

=Wx +b ˆy 即为我们根据模型预测出来的数值。 ˆ(y ) 和实际数值y 之间的距离，即为我们预测的偏差值。即：

线性回归及其变式

Q1：线性回归的原理

Q2：线性回归损失函数的推导过程

Q3：求解线性回归损失函数的方法有哪些

Q4：如何解决共线性（待补充）

Q5：如何防止过拟合

Q6：分布式训练怎么做（待补充）

Q7：正则化的目的和方法

Q8：为什么L1正则化能产生稀疏解，L2则不可以

Q1：线性回归的原理

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。其表达形式为y = w'x+e，e 为误差服从均值为0的正态分布。可以利用梯度下降法等方法求出权重w'的值。

Q2：线性回归损失函数的推导过程

首先线性回归有3个假设：

（1）误差存在且为；

（2）误差的分布基本符合正态分布，因为通常我们不知道是什么分布的时候，根据经验来说正态分布往往效果不错。

（3）每一个样本的误差都是独立同分布的，且满足随机性。

于是我们可以得到第个样本的误差为的概率是：

然后，?是真实值与预测值之间的误差，于是把这两个值代进去。

这是一个似然函数，我们希望它的值越大越好！常规操作取一个log，于是就有

由此可以得到线性回归的损失函数或者说目标函数就是

之所以有1-2这么个系数，只是因为后续用到梯度下降的时候，求导可以把它约掉，方便计算而已，这不会影响最终的结果。

而且注意噢，这里可是没有除以m的！！！！

Q3：求解线性回归损失函数的方法有哪些

（1）梯度下降法

梯度下降又可以是批梯度下降，也可以是随机梯度下降。下面是只有一个样本的时候的批梯度下降的公式推导。

当有m个样本时，在学习速率后面做一个累加即可。

如果是随机梯度下降，每次只需要用到一个样本就行了。

高中数学：线性回归方程

一、推导2个样本点的线性回归方程

例1、设有两个点A（x1，y1），B（x2，y2），用最小二乘法推导其线性回归方程并进行分析。

解：由最小二乘法，设，则样本点到该直线的“距离之和”为

从而可知：当时，b有最小值。将代入“距离和”计算式中，视其为关于b的二次函数，再用配方法，可知：

此时直线方程为：

设AB中点为M，则上述线性回归方程为

可以看出，由两个样本点推导的线性回归方程即为过这两点的直线方程。这和我们的认识是一致的：对两个样本点，最好的拟合直线就是过这两点的直线。

上面我们是用最小二乘法对有两个样本点的线性回归直线方程进行了直接推导，主要是分别对关于a和b的二次函数进行研究，由配方法求其最值及所需条件。实际上，由线性回归系数计算公式：可得到线性回归方程为

设AB中点为M，则上述线性回归方程为

。

二、求回归直线方程

例2、在硝酸钠的溶解试验中，测得在不同温度下，溶解于100份水中的硝酸钠份数的数据如下

0 4 10 15 21 29 36 51 68

66.7 71.0 76.3 80.6 85.7 92.9 99.4 113.6 125.1

描出散点图并求其回归直线方程.

解：建立坐标系，绘出散点图如下：

由散点图可以看出：两组数据呈线性相关性。设回归直线方程为：由回归系数计算公式：

可求得：b=0.87，a=67.52，从而回归直线方程为：y=0.87x+67.52。

三、综合应用

例3、假设关于某设备的使用年限x和所支出的维修费用y（万元）有如下统计资料：

（1）求回归直线方程；（2）估计使用10年时，维修费用约是多少？