最小二乘法求回归直线方程的推导过程
原文链接:https://blog.csdn.net/MarsJohn/article/details/54911788
在数据的统计分析中,数据之间即变量x与Y之间的相关性研究非常重要,通过在直角坐标系中做散点图的方式我们会发现很多统计数据近似一条直线,它们之间或者正相关或者负相关。虽然这些数据是离散的,不是连续的,我们无法得到一个确定的描述这种相关性的函数方程,但既然在直角坐标系中数据分布接近一条直线,那么我们就可以通过画直线的方式得到一个近似的描述这种关系的直线方程。当然,从前面的描述中不难看出,所有数据都分布在一条直线附近,因此这样的直线可以画出很多条,而我们希望找出其中的一条,能够最好地反映变量之间的关系。换言之,我们要找出一条直线,使这条直线“最贴近”已知的数据点,设此直线方程为:
这里的是为了区分Y的实际值y(这里的实际值就是统计数据的真实值,我们称之为观察值),当x取值(i=1,2,3……n)时,Y的观察值为,近似值为(或者说对应的纵坐标是)。
其中式叫做Y对x的回归直线方程,b叫做回归系数。要想确定回归直线方程,我们只需确定a与回归系数b即可。
设x,Y的一组观察值为:
i = 1,2,3……n
其回归直线方程为:
当x取值(i=1,2,3……n)时,Y的观察值为,差刻画了实际观察值与回归直线上相应点纵坐标之间的偏离程度,见下图:
实际上我们希望这n个离差构成的总离差越小越好,只有如此才能使直线最贴近已知点。换句话说,我们求回归直线方程的过程其实就是求离差最小值的过程。
一个很自然的想法是把各个离差加起来作为总离差。可是,由于离差有正有负,直接相加会互相抵消,如此就无法反映这些数据的贴近程度,即这个总离差不能用n个离差之和来表示,见下图:
一般做法是我们用离差的平方和,即:
作为总离差 ,并使之达到最小。这样回归直线就是所有直线中Q取最小值的那一条。由于平方又叫二乘方,所以这种使“离差平方和为最小”的方法,叫做最小二乘法。
用最小二乘法求回归直线方程中的a、b的公式如下:
其中,、为和的均值,a、b的上方加“︿”表示是由观察值按最小二乘法求得的估计值,a、b求出后,回归直线方程也就建立起来了。
当然,我们肯定不能满足于直接得到公式,我们只有理解这个公式怎么来的才能记住它,用好它,因此给出上面两个公式的推导过程更加重要。在给出上述公式的推导过程之前,我们先给出推导过程中用到的两个关键变形公式的推导过程。首先是第一个公式:
接着是第二个公式:
基本变形公式准备完毕,我们可以开始最小二乘法求回归直线方程公式的推导了:
至此,公式变形部分结束,从最终式子我们可以看到后两项
与a、b无关,属于常数项,我们只需
即可得到最小的Q值,因此:
至此,公式推导完毕。
最小二乘法求回归直线方程可用于所有数据分布近似直线的数据统计、分析问题,其用程序实现非常简便,属于基础统计分析算法,必须能够熟练掌握应用。
---------------------
作者:Neo-T
来源:CSDN
原文:https://blog.csdn.net/MarsJohn/article/details/54911788
版权声明:本文为博主原创文章,转载请附上博文链接!
最小二乘法求回归直线方程的推导过程相关推荐
- 最小二乘法求回归直线方程的推导
最小二乘法求回归直线方程的推导 转载自:http://blog.csdn.net/marsjohn/article/details/54911788 在数据的统计分析中,数据之间即变量x与Y之间的相关 ...
- 逻辑回归代价函数的推导过程
逻辑回归代价函数的推导过程 1.代价函数 在篇文章中,我们要介绍如何拟合逻辑回归模型的参数.具体来说,我要定义用来拟合参数的优化目标或者叫代价函数,这便是监督学习问题中的逻辑回归模型的拟合问题. 对于 ...
- 逻辑回归原理及推导过程
这篇文章将详细地讲解逻辑回归的推导过程. 原理: 逻辑回归处理的是分类问题,具体来说,是处理二分类问题.为了实现逻辑回归分类器,我们可以在线性回归的基础上(即每个特征乘以一个回归系数后相加),添加一个 ...
- 布隆过滤器定义长度为m的数组,插入n个元素,k个哈希函数,已知m和n的值,k的值为多少时,求误判率最低的推导过程?
布隆过滤器是怎么存储数据的? 这里m=11,数组长度为11,n=3,插入3个元素,分别是hello.how.yes,k=3,使用了3个哈希函数,每插入一个元素要经过三个哈希函数的运算. ①插入hell ...
- 求回归直线方程y=a+bx
def f(x,y):n=len(x)mx=sum(x)/nmy=sum(y)/nsum_xy=sum([x[i]*y[i] for i in range(n)])sum_xx=sum([x[i]*x ...
- 最小二乘法(求回归方程)的计算过程
最小二乘法求回归直线方程的推导过程 这里的是为了区分Y的实际值y(这里的实际值就是统计数据的真实值,我们称之为观察值),当x取值(i=1,2,3--n)时,Y的观察值为,近似值为(或者说对应的纵坐标是 ...
- [机器学习-回归算法]一元线性回归用最小二乘法的推导过程
一元线性回归用最小二乘法的推导过程 在数据的统计分析中,数据之间即变量x与Y之间的相关性研究非常重要,通过在直角坐标系中做散点图的方式我们会发现很多统计数据近似一条直线,它们之间或者正相关或者负相关. ...
- 逻辑回归的梯度下降公式详细推导过程
逻辑回归的梯度下降公式 逻辑回归的代价函数公式如下: J(θ)=−1m[∑i=1my(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))]J(\theta)=-\frac{ ...
- 逻辑回归损失函数求导推导过程
逻辑回归--分类算法 代价函数的寻找 sigmoid函数的非线性会导致损失函数变得非线性,无法找到全局最优值,所以需要进行损失函数替换. 代价函数的合理性分析 预测正确,损失较小:预测错误,损失较大 ...
- 二元逻辑回归 · 数学推导过程及代码实现完全解析
文章目录 概述 两个重要函数 预测的基本思想 二元逻辑回归 线性模型的简单回顾 从线性回归到二元逻辑回归 参数怎么估计 梯度下降 牛顿迭代 最近修改:2021/6/17 原文<从二元逻辑回归到多 ...
最新文章
- Java算法之 一致性hash算法原理及实现
- (18)打鸡儿教你Vue.js
- VTK:相互作用之KeypressObserver
- ICCV2021 Oral-新任务!新数据集!康奈尔大学提出了类似VG但又不是VG的PVG任务
- 关于tensorflow2.0的弊端
- c++ 协程_Python3 协程(coroutine)介绍
- java io 并发编程,JAVA进阶系列 - 并发编程 - 第1篇:进程线程并发并行
- jQuery编程规范与最佳实践(附带一些个人的笔记)
- 2.3创建用户访问过滤器(安全性)
- js 双引号一行两行_一行注释也能影响运行结果?
- ibm 服务器 win7系统安装,最详细thinkpad win7系统重装教程
- 精简版xp安装iis5.1
- MySQL 基础 常用 语句(增删改查)
- 脑与认知科学基础(期末复习)
- Android依赖arr包 gradle7.0
- Excel.Application使用手册(API)
- 全方位掌握nsis脚本
- SUSAN角点检测与匹配算法代码(OpenCV)
- AndroidStudio创建项目(Could not find any version)
- Iterator patten 读书笔记