一、线性回归的模型函数和损失函数：

二、线性回归的算法：

1.梯度下降法：

【机器学习】＜刘建平Pinard老师博客学习记录＞梯度下降（Gradient Descent）_故里的博客-CSDN博客目录一、梯度：二、梯度上升和梯度下降：三、梯度下降法算法详解：1.梯度下降的直观解释：2.梯度下降的相关概念：3.梯度下降的详细算法：3.1 梯度下降法的代数方式描述：3.2 梯度下降法的矩阵方式描述：4.梯度下降的算法调优：四、梯度下降法大家族（BGD，SGD，MBGD）：1.批量梯度下降法（Batch Gradient Descent）：2.随机梯度下降法（Stochastic Gradient Descent）：3.小批量梯度下降法（Mini-bathttps://blog.csdn.net/weixin_52058417/article/details/122021141?spm=1001.2014.3001.5501

2.最小二乘法：
【机器学习】＜刘建平Pinard老师博客学习记录＞最小二乘法_故里的博客-CSDN博客目录一、最小二乘法的原理与解决的问题：二、最小二乘法代数解法：三、最小二乘法的矩阵解法：四、最小二乘法的局限性和适用场景：最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。一、最小二乘法的原理与解决的问题：最小二乘法是由勒让德在19世纪发现的，原理的一般形式很简单，当然发现的过程是非常艰难的。形式如下式：观测值就是我们的多组样...https://blog.csdn.net/weixin_52058417/article/details/122030332?spm=1001.2014.3001.5501

当然线性回归，还有其他的常用算法，比如牛顿法和拟牛顿法，这里不详细描述。

三、线性回归的推广：多项式回归

四、线性回归的推广：广义线性回归

五、线性回归的正则化：

为了防止模型的过拟合，我们在建立线性模型的时候经常需要加入正则化项。一般有L1正则化和L2正则化。

线性回归的正则化-Lasso回归：

【机器学习】＜刘建平Pinard老师博客学习记录＞Lasso回归算法：坐标轴下降法与最小角回归法_故里的博客-CSDN博客一、回顾线性回归：线性回归：【每日一更】＜吴恩达-机器学习＞单变量的线性回归&认识梯度下降_故里的博客-CSDN博客一、单变量线性回归 - Linear regession with one variable:Supervised Learning: Gives the "right answer" for each example in the data.Regression Problem: Redict real-valued outputClassfication Problem: https://blog.csdn.net/weixin_52058417/article/details/122030849?spm=1001.2014.3001.5502

除了上面这两种常见的线性回归正则化，还有一些其他的线性回归正则化算法，区别主要就在于正则化项的不同，和损失函数的优化方式不同，这里就不累述了。

线性回归原理小结 - 刘建平Pinard - 博客园 (cnblogs.com)https://www.cnblogs.com/pinard/p/6004041.html

【机器学习】＜刘建平Pinard老师博客学习记录＞线性回归原理相关推荐

【机器学习】＜刘建平Pinard老师博客学习记录＞Scikit-learnPandas（NumpyMatplotlib）学习线性回归
目录一.数据获取&问题定义: 1.数据获取: 2.问题定义: 二.整理数据: 三.使用Pandas读取数据: 1.导入依赖库: 2.使用Pandas读取函数: 四.数据准备: 1.查看数据: ...
【机器学习】＜刘建平Pinard老师博客学习记录＞机器学习算法的随机数据生成
目录一.Numpy生成随机数: 二.Scikit-learn随机数据生成API介绍: 三.Scikit-learn随机数据生成实例: 1.回归模型随机数据: 2.分类模型随机数据: 3.聚类模型随机 ...
【机器学习】＜刘建平Pinard老师博客学习记录＞最小二乘法
目录一.最小二乘法的原理与解决的问题: 二.最小二乘法代数解法: 三.最小二乘法的矩阵解法: 四.最小二乘法的局限性和适用场景: 最小二乘法是用来做函数拟合或者求函数极值的方法.在机器学习,尤其是回 ...
【机器学习】＜刘建平Pinard老师博客学习记录＞梯度下降（Gradient Descent）
目录一.梯度: 二.梯度上升和梯度下降: 三.梯度下降法算法详解: 1.梯度下降的直观解释: 2.梯度下降的相关概念: 3.梯度下降的详细算法: 3.1 梯度下降法的代数方式描述: 3.2 梯度下降 ...
【机器学习】＜刘建平Pinard老师博客学习记录＞交叉验证(Cross Validation)
交叉验证是在机器学习建立模型和验证模型参数时常用的办法.交叉验证,顾名思义,就是重复的使用数据,把得到的样本数据进行切分,组合为不同的训练集和测试集,用训练集来训练模型,用测试集来评估模型预测的好坏. ...
【机器学习】＜刘建平Pinard老师博客学习记录＞感知机原理
目录一.感知机模型: 二.感知机模型损失函数: 三.感知机模型损失函数的优化方法: 四.感知机模型算法: 五.感知机模型的算法对偶形式: 六.小结: 感知机可以说是最古老的分类方法之一了,在1957 ...
刘建平Pinard的博客配套代码
刘建平Pinard的博客配套代码 http://www.cnblogs.com/pinard 刘建平Pinard 目录机器学习基础与回归算法机器学习分类算法机器学习聚类算法机器学习降维算法机 ...
我的博客学习记录一箩筐（每天更新）
线程有关的 1. 难道调用ThreadPool.QueueUserWorkItem()的时候,真是必须调用Thread.Sleep(N)吗? 2. 警惕匿名方法造成的变量共享 3. WPF:谈谈各种多 ...
【阮一峰博客学习记录1】追踪用户点击
使用普通异步的方式发送用户点击日志会不成功,使用同步的方式发送会导致网页延迟.所以有了这个API--navigator.sendBeacon() 作用与优势就算是关闭浏览器的操作,都可以腾出时间进行 ...

【机器学习】＜刘建平Pinard老师博客学习记录＞线性回归原理