关于线性回归分析的理解

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w'x+e，e为误差服从均值为0的正态分布。

线性回归直线的一次关系表达式如下：

y=bx+a

x为自变量，y为因变量，b为回归系数，a为截距

下列为一个班级的身高和体重数据

编号身高x 体重y

1 153.3 45.5

2 164.9 56.0

3 168.1 55.0

4 151.5 52.8

5 157.8 55.6

6 156.7 50.8

7 161.1 56.4

求以体重y为因变量，身高x为自变量的回归方程

y=bx+a(b,a为常数)

如果已知b,a，则可根据身高预测体重值

编号身高x 体重y 预测值bx+a

1 153.3 45.5 153.3*b+a

2 164.9 56.0 164.9*b+a

3 168.1 55.0 168.1*b+a

4 151.5 52.8 151.5*b+a

5 157.8 55.6 157.8*b+a

6 156.7 50.8 156.7*b+a

7 161.1 56.4 161.1*b+a

问题可转化为，设有观测数据(x,y1),(x2,y2),...(xn,yn)，假设变量之间的关系近似满足y=bx+a，如何计算出a,b。

如何找出常数a,b使得由ŷi=b*xi+a算出的输出值与真实观测值的距离最小？

一般采用距离平方和方式求误差 ∑(ŷi-yi)^2

而距离平方和是由观测数据和a,b共同决定的值，故等式等于

Q(a,b)=∑n(ŷi-yi)^2=∑n(b*xi+a-yi)2

为了使∑n(ŷi-yi)^2最小，即求转换为

∂Q/∂a=0

∂Q/∂b=0

∂Q/∂a=-2∑n(b*xi+a-yi)=0

∂Q/∂b=-2∑n(b*xi+a-yi)*xi=0

第一个方程可解为

na=∑n(yi)-b∑n(xi)

a=y̅-b*x̅

y̅,x̅为各自均值，但b仍未知，再由第二个方程∑n(b*xi+a-yi)*xi=0

将a=y̅-b*x̅代入表达式进行消元，可推导出b的值

∑n(b*xi+y̅-b*x̅-yi)*xi=∑n(xi(y̅-yi-b*(xi-x̅)))=0

b∑n(xi(xi-x̅))=∑n(xi(yi- y̅))

b∑n((xi-x̅)^2)=∑n((xi-x̅)(yi- y̅))

求解可得

b=(∑n(xi-x̅)(yi- y̅))/∑n(xi-x̅)^2，即∑(自变量平均值-自变量)*(因变量平均值-因变量)/∑(自变量平均值-自变量)^2

a=y̅-bx̅

这里a,b均为估计值

关于线性回归分析的理解相关推荐

excel多元线性拟合_Python一元线性回归分析实例：价格与需求的相关性
来自烟水暖的学习笔记回归分析(Regression analysis) 回归分析(Regression analysis),是研究因变量与自变量之间相关性的一种数学方法,并将相关性量化,即得到回归方 ...
python对于一元线性回归模型_Python一元线性回归分析实例：价格与需求的相关性...
来自烟水暖的学习笔记回归分析(Regression analysis) 回归分析(Regression analysis),是研究因变量与自变量之间相关性的一种数学方法,并将相关性量化,即得到回归方 ...
【数学建模笔记】【第七讲】多元线性回归分析（一）：回归分析的定义、对于线性的理解以及内生性问题的探究
多元线性回归分析回归分析是数据分析中最基础也是最重要的分析工具,绝大多数的数据分析问题,都可以使用回归的思想来解决.回归分析的任务就是,通过研究自变量X和因变量Y的相关关系,尝试去解释Y的形成机制, ...
统计|如何理解线性回归分析中残差检验的基本步骤
本博文源于<商务统计>,旨在讲述如何对线性回归分析中已经拟合好的直线做残差分析.当谈起残差,必须了解残差是y的实际值和预测值之差. 线性回归模型的残差检验假定条件线性假定:X与Y之间的关 ...
手把手教线性回归分析（附R语言实例）
本文长度为8619字,建议阅读15分钟本文为你介绍线性回归分析. 通常在现实应用中,我们需要去理解一个变量是如何被一些其他变量所决定的. 回答这样的问题,需要我们去建立一个模型.一个模型就是一个公式 ...
Python 散点图线性拟合_机器学习之利用Python进行简单线性回归分析
前言:在利用机器学习方法进行数据分析时经常要了解变量的相关性,有时还需要对变量进行回归分析.本文首先对人工智能/机器学习/深度学习.相关分析/因果分析/回归分析等易混淆的概念进行区分,最后结合案例介绍 ...
线性回归分析中的哑变量
最近偶尔在重温统计学,发现自己工作后用了各种高级的统计分析方法,各种统计模型,却忽视了统计学中一些最基础的知识,而这些知识是所有这些高级方法的基础,基础不扎实,高级方法用起来真觉得底气不足,今天看到哑 ...
多元线性回归分析预测法概述
在市场的经济活动中,经常会遇到某一市场现象的发展和变化取决于几个影响因素的情况,也就是一个因变量和几个自变量有依存关系的情况.而且有时几个影响因素主次难以区分,或者有的因素虽属次要,但也不能略去其作用 ...
基于Python的地理数据分析之一元线性回归分析-数学原理02.md
行成于思毁于随,业精于勤荒于嬉. 文章目录前言 1. 声明 2. 版本 2.1 山东青岛,Version 1 3. 关键词一.最小二乘法 1. 什么是最小二乘法 1.1 公式表达 2. 最小 ...
在python中使用最小二乘法画出拟合曲线_基于jupyter notebook的python编程-----运用最小二乘法，导入文件数据模拟一元线性回归分析...
基于jupyter notebook的python编程-----运用最小二乘法,导入文件数据模拟一元线性回归分析用最小二乘法模拟一元线性回去曲线的目录一.运行jupyter notebook,搭建 ...

关于线性回归分析的理解

关于线性回归分析的理解相关推荐

最新文章

热门文章