matlab最小二乘法_基于最小二乘法的线性回归拟合
阅读本文需要的知识储备:
高等数学
概率论与数理统计
Python基础
线性回归,其实生活中有很多这样的例子,比如:票价与行车距离、服务质量之间的关系,买房时房价与面积、地域等的关系。给我们一组这样的数据,我们想找出一个数学关系来描述这个问题,从而得到自己想要的结论。那么,怎么样才能使得你确定出的关系是一个好的线性关系呢。最著名的当数最小二乘法了,很多人都知道。
最小二乘法原理
众所周知,最小二乘法原理就是利用,拟合直线上面的因变量值与实际值的残差平方和最小作为优化目标。从而确定出我们需要找出的的系数。给定一组数据X = (X1,X2,...,Xn),Y = (Y1,Y2,...,Yn),一般方法通过画散点图观察我们发现,X、Y之间有可能存在很强的线性关系,当然也可能有其它关系(更高次也是有可能的)。我们的任务就是,通过线性拟合找到合适的线性系数,能最好反应X、Y之间的相关关系。
假设线性方程为:
这里的eps就是指的实际值与直线拟合值的残差,它们肯定会有差值的,一般而言。
目标函数就是因变量值与实际值的残差平方和,定义如下:
其中,红色Yi表示实际给定的数据,蓝色表达式表示根据拟合直线表达式计算的近似代替值,我们的目标是使其达到最小。
数学分析(工科会学高等数学)告诉我们:这是一个二元函数,我们需要找到其极小值点(alpha,beta);可以对目标函数关于alpha,beta分别求偏导数,偏导数如果有零点,这个零点两边函数值为正负,必然存在一个驻点对应目标函数值先下降后增长)。那么,这个点就是我们要求的最优极小值点对应线性拟合系数alpha,beta。
求偏导函数如下:
求偏导数函数零点,理论上可以求出,alpha,beta的值。大家不喜欢公式,我也不喜欢编辑公式(编辑好麻烦),虽然我比较喜欢公式。我觉得实际问题被抽象成数学模型去刻画才是最美的。
经过细心的计算,大家可以算出:
只要算出了beta,利用回归直线过点(x_bar,y_bar),X,Y平均值点,算出alpha即可。
编程实现
Win10环境下用Python3.写的实现程序。
(1)、用的数据:由于暂时没有数据生成线性数据,然后加的噪声;
(2)、用到的函数:
向量内积(点乘)函数、平均值、协方差
(3)、代码如下:
1#向量内积函数 2def dot(m,n): 3 return(sum(m_i*n_i for m_i,n_i in zip(m,n))) 4#平均值函数 5def mean(x): 6 return(sum(x)/len(x)) 7#计算协方差 8####-----要计算一个序列方差只需covariance(x,x)即可---#### 9def de_mean(x):10 x_bar = mean(x)11 return([x_i-x_bar for x_i in x])12def covariance(x,y):13 return(dot(de_mean(x),de_mean(y))/(len(x)-1))14#计算相关系数15import math16def correlation(x,y):17 s_x = math.sqrt(covariance(x,x))18 s_y = math.sqrt(covariance(y,y))19 return(covariance(x,y)/(s_x*s_y))20#-----------------【最小二乘法】线性回归系数求法--------------21def line_coef(x,y):22 s1 = covariance(x,x)*(len(x)-1)23 s2 = dot(y,de_mean(x))24 beta = s2/s125 alpha = mean(y)-beta*mean(x)26 return(alpha,beta)27#*********实验************28#由于暂时没有实验数据,这里生成【随机干扰】数据29import random as rdm30#from numpy import *31def ran(a1,a2,x):32 return([a1+a2*x_i+2.5*rdm.random() for x_i in x])33a1 = 1.534a2 = 2.535x = range(20)36y = ran(a1,a2,x)37#线性拟合38alpha,beta = line_coef(x,y)39print('*------------最小二乘法-------------*')40print('系数为:',alpha,beta)41#可视化42import matplotlib.pyplot as plt43#开一个【2x2】的图像窗口44#plt.subplot(221)45plt.figure(1)46plt.scatter(x,y,marker = '*',color = 'b')47plt.xlabel('x label')48plt.ylabel('y label')49plt.title('Linear Fit')50#拟合直线51plt.plot(x,[alpha+beta*x_i for x_i in x],color = 'orange')52#plt.subplot(222)53plt.show()54#误差分析55#-----主要考察:(1)误差平方和;(2)R方(越大拟合得越好)56def err(alpha,beta,x,y): #返回每个实际y值与拟合值差向量57 return([y_i-(alpha+beta*x_i) for x_i,y_i in zip(x,y)])58def error_total(alpha,beta,x,y):59 y1 = err(alpha,beta,x,y)60 return(dot(y1,y1))61print('误差为:',error_total(alpha,beta,x,y))62#计算R方6364def r_square(alpha,beta,x,y):65 return(1-error_total(alpha,beta,x,y)/covariance(y,y))66R_square = r_square(alpha,beta,x,y)67print('R方:',R_square)68if(R_square>0.95):69 print('在0.05置信水平下,该线性拟合不错!')70else:71 print('在0.05置信水平下,该线性拟合效果不佳!')
(4)、结果
*------最小二乘法---------*
系数为: 2.6786542252575067 2.538861110659364
误差为: 6.8591175428159215
R方: 0.9696451619135048
在0.05置信水平下,该线性拟合不错!
拟合图如下
结果分析
可以看出我定义的线性方程系数a1 = 1.5,a2 = 2.5,大约就是Y = 1.5+2.5X,最终结果是Y = 2.6786542252575067+2.538861110659364X,因为中间增加了2.5倍的噪声,使得alpha从1.5—>2.68。当然了,这只是我们的感觉,线性拟合效果怎么样,还得看官方标准。
这里用R方(值越大拟合得越好)。
R方: 0.9696451619135048
在0.05置信水平下,该线性拟合不错!
基于最小二乘法的——线性回归拟合就到这里,下一篇我会用梯度下降解决这个问题,然后会画图做比较,所以我把源码放在一起了,可以直接运行的。
欢迎留言,觉得不错,记得点赞分享哦!
猜你可能喜欢
R语言(绘图入门)
多元线性回归、逐步回归、逻辑回归的总结
K-Means算法、非负矩阵分解(NMF)与图像压缩
Python系列之——好用的Python开发工具
matlab最小二乘法_基于最小二乘法的线性回归拟合相关推荐
- python 线性回归 技术方案亮点_基于Python的线性回归实战
一.线性回归的理论 1)线性回归的基本概念 线性回归是一种有监督的学习算法,它介绍的自变量的和因变量的之间的线性的相关关系,分为一元线性回归和多元的线性回归.一元线性回归是一个自变量和一个因变量间的回 ...
- 肌电信号的包络matlab程序_基于matlab的肌电信号处理程序
基于 matlab 的肌电信号处理程序: function varargout = untitled(varargin) % UNTITLED M- untitled.fig % UNTIT ...
- bp神经网络matlab代码_基于Matlab的BP神经网络识别26个英文字母
一.设计思想 字符识别在现代日常生活的应用越来越广泛,比如车辆牌照自动识别系统,手写识别系统,办公自动化等等.本文采用BP网络对26个英文字母进行识别.首先将待识别的26个字母中的每一个字母都通过长和 ...
- 肌电信号的包络matlab程序_基于matlab的肌电信号处理程序:
基于 matlab 的肌电信号处理程序: function varargout = untitled(varargin) % UNTITLED M-file for untitled.fig % ...
- 现代永磁同步电机控制原理及matlab仿真_基于Matlab的PMSM模型初探
本文首发自微信公众号"汽车技术馆"! 随着新能源车辆的普及,电机的控制技术逐渐成为了热门的话题,尤其是目前在电机上普遍使用的永磁同步PMSM技术,其实不止是新能源的电机驱动使用了这 ...
- 朴素贝叶斯网络matlab实现_基于朴素贝叶斯的文本分类方法实战
基于朴素贝叶斯的文本分类方法 一.朴素贝叶斯原理的介绍 二.朴素贝叶斯分类器的代码实现 分类器有时会产生错误结果,这时可以要求分类器给出一个最优的类别猜测结果,同时会给出这个猜测的概率估计值.朴素贝叶 ...
- matlab案例_基于matlab和frost平台的cassie案例足式机器人运动学和动力学计算实现过程...
1.软件平台 Maltab2019a Mathematica 12.1.0 Frost 2.实现步骤 (1).安装matlab2019a (2).安装Mathematica 12.1.0 (3).下载 ...
- 五步移相法matlab程序_基于结构光的相移法三维重建matlab
一.基本原理: 正弦条纹打在三维物体上,CCD记录到的条纹由于受到三维物体高度的调制而发生扭曲,扭曲的条纹(deformed fringe)实质上为原始条纹在物体具有高度存在的位置有了附加相位,各点的 ...
- 傅里叶变换 matlab代码_基于机器学习的心律失常分类(三)——小波阈值去噪[MATLAB]...
在对心电信号进行分析前,需要对其进行去噪预处理.因为在心电信号采集或者数模转换的过程中,会产生噪声,包括工频干扰.肌电干扰.基线漂移这三种.本文将介绍目前十分常用且有效的一种去噪方法--小波阈值去噪. ...
最新文章
- egret 开发总结
- ExtendTableView
- python编程语言的缺点-常见的AI编程语言优缺点比较,程序员千万不要入错行!...
- 【PP】SAP库存决定
- 随记(六)--计算代码运行所需时间
- c语言中结束本次循环的语句是什么
- u-boot新增命令后出现data abort
- 周二直播丨数据库上云趋势下,如何面对海量数据迁移及落地实践
- 微信支付开发(3) 对账单
- HTML5之语义化标签
- qq音乐 android,QQ音乐安卓版
- 软件c#语言调用摄像头,C#中如何使用AForge实现摄像头录像功能
- css3 3d 太阳系,CSS3实现的太阳系行星系统
- 苹果手机屏幕尺寸_Apple 苹果 iPhone SE2智能手机屏幕测评报告 「Soomal」
- Cobaltstrike内网工具的使用笔记
- 福田区有哪些公园好玩 你都去过吗
- 写一个PE的壳_Part 2:ASLR+修复输入表(IAT)+重定位表支持(.reloc)
- 学习记录, 带你玩转Pyppeteer (全干货)
- 这些问题才是阻碍蓝牙耳机音质的元凶,2021什么牌子蓝牙耳机靠谱?
- Java bean中字段命名潜规则,前两个字母要么都大写,要么都小写
热门文章
- 圣诞节必备装饰场景PSD设计素材,不仅高清高质量
- 判断变量是空_Python 判断变量是否是 None 的三种写法
- AbstractSyntax Tree (AST)
- echarts做企业关系图谱_建立良好客户关系 做有温度的企业
- java压缩源代码_【免费毕设】JAVA文件压缩与解压缩实践(源代码+论文)
- ipad怎么连接电脑_一条网线怎么连接多台电脑?
- Kotlin 循环控制(七)
- java的IO知识梳理
- python中的第三方库 cv2_cv2 python
- html给box加超链接,java – 如何使用pdfbox在pdf中添加超链接