最小二乘法求回归直线方程的详细推导过程

转载自：http://blog.csdn.net/marsjohn/article/details/54911788
——————————————————————————————————————————————————
在数据的统计分析中，数据之间即变量x与Y之间的相关性研究非常重要，通过在直角坐标系中做散点图的方式我们会发现很多统计数据近似一条直线，它们之间或者 正相关 或者 负相关。虽然这些数据是离散的，不是连续的，我们无法得到一个确定的描述这种相关性的函数方程，但既然在直角坐标系中数据分布接近一条直线，那么我们就可以通过画直线的方式得到一个近似的描述这种关系的直线方程。当然，从前面的描述中不难看出，所有数据都分布在一条直线附近，因此这样的直线可以画出很多条，而我们希望找出其中的一条，能够最好地反映变量之间的关系。换言之，我们要找出一条直线，使这条直线“最贴近”已知的数据点，设此直线方程为：

这里的y^是为了区分Y的实际值y（这里的实际值就是统计数据的真实值，我们称之为 观察值），当x取值(i=1，2，3……n)时，Y的观察值为yi，近似值为y^i（或者说xi对应的纵坐标是yi = a + bxi）。

其中1式叫做 Y对x的回归直线方程，b叫做 回归系数。要想确定回归直线方程，我们只需确定a与回归系数b即可。

设x，y的一组观察值为：
(xi, yi) i = 1, 2, 3, …n

其回归直线方程为：

当x取值xi(i=1，2，3……n)时，Y的观察值为yi，差yi - y^i(i = 1, 2, …, n)刻画了实际观察值y1与回归直线上相应点纵坐标之间的偏离程度，见下图：

实际上我们希望这n个离差构成的总离差越小越好，只有如此才能使直线最贴近已知点。换句话说，我们求回归直线方程的过程其实就是求离差最小值的过程。

一个很自然的想法是把各个离差加起来作为总离差。可是，由于离差有正有负，直接相加会互相抵消，如此就无法反映这些数据的贴近程度，即这个总离差不能用n个离差之和来表示，见下图：

一般做法是我们用离差的平方和，即：

作为总离差，并使之达到最小。这样回归直线就是所有直线中Q取最小值的那一条。由于平方又叫二乘方，所以这种使“离差平方和为最小”的方法，叫做 最小二乘法。

用最小二乘法求回归直线方程中的a、b的公式如下：

a、b的上方加“︿”表示是由观察值按最小二乘法求得的估计值，a、b求出后，回归直线方程也就建立起来了。

当然，我们肯定不能满足于直接得到公式，我们只有理解这个公式怎么来的才能记住它，用好它，因此给出上面两个公式的推导过程更加重要。在给出上述公式的推导过程之前，我们先给出推导过程中用到的两个关键变形公式的推导过程。首先是第一个公式：

接着是第二个公式：

基本变形公式准备完毕，我们可以开始最小二乘法求回归直线方程公式的推导了：

最小二乘法求回归直线方程的详细推导过程相关推荐

最小二乘法求回归直线方程的推导
最小二乘法求回归直线方程的推导转载自:http://blog.csdn.net/marsjohn/article/details/54911788 在数据的统计分析中,数据之间即变量x与Y之间的相关 ...
逻辑回归的梯度下降公式详细推导过程
逻辑回归的梯度下降公式逻辑回归的代价函数公式如下: J(θ)=−1m[∑i=1my(i)log⁡hθ(x(i))+(1−y(i))log⁡(1−hθ(x(i)))]J(\theta)=-\frac{ ...
关于罗德里格斯公式(Rodrigues‘sFormula)的详细推导过程
关于罗德里格斯公式[Rodrigues'sFormula]的详细推导过程 1 旋转向量 2 罗德里格斯公式 2.1 罗德里格斯公式定义 2.2 罗德里格斯公式推导 3 旋转矩阵到旋转向量的转换 1 旋 ...
图像处理——几种简单的旋转变换的超详细推导过程（点在同一坐标系的变换）（一）
图像处理--几种简单的旋转变换的超详细推导过程(同一坐标系)(一) 本文主要推导了二维和三维坐标系中的绕点和绕轴的旋转变换,推导过程比较详细,希望可以给大家提供一些帮助. 一.绕原点的旋转(二维) 二 ...
机器学习——从线性回归到逻辑回归【附详细推导和代码】
本文始发于个人公众号:TechFlow,原创不易,求个关注在之前的文章当中,我们推导了线性回归的公式,线性回归本质是线性函数,模型的原理不难,核心是求解模型参数的过程.通过对线性回归的推导和学习,我 ...
卡尔曼滤波原理公式详细推导过程[包括引出]
卡尔曼滤波在很多项目中都有用到,但是对于原理却很少有详细分析,而只是直接应用,在看完b站up主DR_CAN视频推导后自行推导一遍和查看其他资料后进行总结,将从最初的递归算法,利用数据融合,协方差矩阵, ...
IMU预积分--详细推导过程
一.提前了解二.预积分的目的 1.IMU通过加速度计和陀螺仪测出的是加速度和角速度,通过积分获得两帧之间的旋转和位移的变换: 2.在后端非线性优化的时候,需要优化位姿,每次调整位姿都需要在它们之间重 ...
一元线性回归的详细推导过程
下面是一元线性回归的详细求解过程. 假设一元线性回归的最佳直线方程为: (1) 对于一个样本点 ,有预测值为: ...
线性回归正规方程详细推导过程
最近在学习吴恩达的机器学习,讲到里面了比较简单的求出的方法:正规方程. 视频里只告诉我们这个公式,但是没有具体告诉我们推到过程,对于我这种数学学渣来说实在一眼看不出来是什么意思,查了很久才稍微懂了点点 ...
lasso,lars算法详细推导过程-数学
首发于程序员的伪文艺关注专栏写文章从Lasso开始说起李新春既可提刀立码,行遍天下:又可调参炼丹,卧于隆中. 关注他 317 人赞同了该文章 Lasso是Least Absolute Shr ...

最小二乘法求回归直线方程的详细推导过程

最小二乘法求回归直线方程的详细推导过程相关推荐

最新文章

热门文章