前言

此篇博文主要阐述如何利用最小二乘法对一元线性回归模型中的参数进行估计。

1. 声明

此系列博文主要参考北京大学陈彦光教授的 《基于MATLAB的地理数据分析》进行撰写。
此系列博文的撰写目的包括：（1）学习常见地理数学方法的基本原理；（2）基于Python语言实现常见地理数学方法；（3）加深对Python语言的理解。
此系列博文的主要实例参考自陈彦光教授所著教材，也会依据实际情况以自己研究过程中的一些实例进行数据分析的展示。
此系列博文里参考陈彦光教授的内容的著作权和解释权归陈彦光教授所有，在此表示感谢。推荐陈彦光教授的两本书籍：《地理数学方法：基础和应用》和《基于MATLAB的地理数据分析》。

2. 版本

2.1 山东青岛，Version 1

3. 关键词

一元线性回归，最小二乘法

一、最小二乘法

1. 什么是最小二乘法

最小二乘法又被称作最小平方法，最小二乘法在19世纪由数学家勒让德提出。最小二乘法在一元线性回归分析中被用于确定y=a+bxy=a+bxy=a+bx中的系数a和系数b。需要注意的是：最小二乘法的构建的目的是求得观测值和理论值之间的差异最小时对应的目标函数中需要确定的参数，在一元线性回归中就对应着参数a和参数b。最小二乘法作为一种最优参数求解方法，不仅仅可以用于一元线性回归问题。

1.1 公式表达

最小二乘法的数学表达公式如下：
目标函数=∑i=1n(观测值i−理论值i)(1)目标函数=\sum_{i=1}^{n}(观测值_i - 理论值_i)\tag{1}目标函数=i=1∑n(观测值i−理论值i)(1)
对于最小二乘法的理解可以参考最小二乘法的本质是什么。
对于一元线性回归问题，只有一个自变量（特征，x）和一个因变量（y），且自变量和因变量之间属于线性关系，因此一元线性回归模型可以表达为y=a+bxy=a + bxy=a+bx，当我们进行了n组观测之后，会得到n组(xi,yi),i=1,2,...,n(x_i,y_i),i=1,2,...,n(xi,yi),i=1,2,...,n。最小二乘法的目的就是找到一组(a,b)(a,b)(a,b)使得∑i=1n(a+bxi−yobs)2\sum_{i=1}^{n}(a+bx_i - y_{obs})^2∑i=1n(a+bxi−yobs)2的和最小，即求：min∑i=1n(a+bxi−yobs)2min\sum_{i=1}^{n}(a+bx_i - y_{obs})^2min∑i=1n(a+bxi−yobs)2。

2. 最小二乘法的求解

2.1 代数方法求解

代数方法求解最小二乘法实际上是利用求导数的思想，在∑i=1n(a+bxi−yobs)2\sum_{i=1}^{n}(a+bx_i - y_{obs})^2∑i=1n(a+bxi−yobs)2中将a和b视作未知数，分别对a和b求偏导数，并令导数为0，然后求a和b。以下，以一元线性回归模型为例，展示如何运用代数方法求解一元线性回归模型中的a和b。一元线性回归模型的目标函数为：
J(a,b)=∑i=1n(a+bxi−yobs)2J(a,b)=\sum_{i=1}^{n}(a+bx_i - y_{obs})^2J(a,b)=i=1∑n(a+bxi−yobs)2，其中aaa和bbb是待求参数，视作未知变量。

对自变量a和b求偏导，并令其等于0，可以得到：
{∂J(a,b)a=2∑i=1n(a+bxi−yobs)=0∂J(a,b)b=2∑i=1n(a+bxi−yobs)xi=0\begin{cases} \frac{\partial{J(a,b)}}{a}=2\sum_{i=1}^{n}(a+bx_i-y_{obs})=0\\ \frac{\partial{J(a,b)}}{b}=2\sum_{i=1}^{n}(a+bx_i-y_{obs})x_{i}=0\\ \end{cases} {a∂J(a,b)=2∑i=1n(a+bxi−yobs)=0b∂J(a,b)=2∑i=1n(a+bxi−yobs)xi=0
求解上述方程可得
{a=b=\begin{cases} a=\\ b=\\ \end{cases} {a=b=

参考资料

最小二乘法
最小二乘法的本质是什么
矩阵简介与最小二乘法
矩阵形式下的最小二乘法推导

欢迎关注微信公众号“GISRSGeography”

基于Python的地理数据分析之一元线性回归分析-数学原理02.md相关推荐

在python中使用最小二乘法画出拟合曲线_基于jupyter notebook的python编程-----运用最小二乘法，导入文件数据模拟一元线性回归分析...
基于jupyter notebook的python编程-----运用最小二乘法,导入文件数据模拟一元线性回归分析用最小二乘法模拟一元线性回去曲线的目录一.运行jupyter notebook,搭建 ...
基于 Python 的地理空间绘图指南
大部分情况下,地理绘图可使用 Arcgis 等工具实现.但正版的 Arcgis 并非所有人可以承受.本文基于 Python 的 cartopy 和 matplotlib 等库,为地理空间绘图的代码 ...
[Python] 一元线性回归分析实例
本文通过一个简单的例子:预测房价,来探讨怎么用python做一元线性回归分析. 1. 预测房价房价是一个很火的话题,现在我们拿到一组数据,是房子的大小(平方英尺)和房价(美元)之间的对应关系,如下( ...
基于python的气象数据分析统计服_基于Python的风向风速数据分析的设计与实现
基于 Python 的风向风速数据分析的设计与实现李文倩 ; 刘婕 [期刊名称] < <信息通信> > [年 ( 卷 ), 期] 2019(000)009 [摘要] Pyth ...
【教程】基于 Python 的地理空间绘图指南
大部分情况下,地理绘图可使用 ArcGIS 等工具实现.但正版的 ArcGIS 并非所有人可以承受.本文基于 Python 的 cartopy 和 matplotlib 等库,为地理空间绘图的代码实现 ...
可视化平台python_基于Python的可视化数据分析平台设计与实现
Computer Era No. 12 2017 0 引言随着云计算.物联网.社交网络等的兴起和数据库技术的成熟,社会中的各类数据正在以前所未有的速度增长.传统的数据处理方式难以发掘出海量数据中所隐 ...
大学计算机课程报告python_基于python语言和数据分析的大学公共计算机课程方案...
基于 python 语言和数据分析的大学公共计算机课程方案云太真 [期刊名称] <电脑知识与技术> [年 ( 卷 ), 期] 2018(014)025 [摘要] 目前的大学公共计算机课程 ...
基于Python的租房数据分析与展示系统的设计和实现
<基于Python的租房数据分析与展示系统的设计和实现>该项目采用技术Python的django框架.mysql数据库 ,项目含有源码.论文.PPT.配套开发软件.软件安装教程.项目发布教 ...
python：一元线性回归分析实例：基金净值
一元线性回归分析实例: 以沪深300指数基金净值为例基金净值数据格式: date,jz,ljjz 2019-01-02,1.0194,1.0194 2019-01-03,1.0177,1.0177 ...

基于Python的地理数据分析之一元线性回归分析-数学原理02.md

文章目录

前言