最小二乘法与代价函数

最小二乘法：又称作最小平方法，它通过最小化误差的平方和寻找数据的最佳函数匹配。可以用于曲线拟合，解决一些优化问题。

公式：

如何计算？（以预测函数为过原地的函数举例）

将所有点，（预测值-真实值）的平方相加，再求均值。

代价函数：又叫损失函数。用于描述预测模型与真实数据，之间的偏差。损失，顾名思义，与真实值相比，损失了或者偏差了多少，其值越小，模型越拟合真实值。（这里以过原点的预测函数举例）

画红线的部分就为，过原点这个预测函数的代价函数。可以看出，它是一个二次函数，所以当代价函数取最低点时，此时误差最小，w的取值就为预测函数的最佳取值，拟合程度就越高。

这里的代价函数时二次函数，很多时候代价函数是一个抛物面，以及超平面等等。

总结：机器学习的目标就是找到代价函数的最小值来实现对数据的最优拟合。

视频：【线性回归、代价函数、损失函数】动画理解，发财致富_哔哩哔哩_bilibili

最小二乘法与代价函数相关推荐

最小二乘法的原理理解
在上文一文让你彻底搞懂最小二乘法(超详细推导)中我们提到过,发明最小二乘法的勒让德认为,让误差的平方和最小估计出来的模型是最接近真实情形的(误差=真实值-理论值).换句话说,勒让德认为最佳的拟合准则是 ...
吴恩达机器学习课程笔记(英文授课) Lv.1 新手村（回归）
目录 1-1机器学习的相关名词 1-2 什么是机器学习? 1.definition 定义 2.主要的机器学习算法的分类 1-3有监督学习及常用算法 1.定义 2.两种数据类型补充:categorica ...
鸡尾酒问题，最小二乘法和范数的思考
temporal is 处于动态平衡中,因为任何量都不可能永恒不变. 因为宇宙的本质就是变得,所以每个量在一个区间内变化,而保持系统的平衡. 所以没有唯一的准则,而是在不断的变化,人也相应的调整策略. ...
机器学习-知识点总结
1. Xgboost相关知识点 a. boosting tree, Random Forest, Adaboost, GBDT, Xgboost的区别: b. Random Forest, Xgboo ...
AI安全上路小记2-逻辑回归
前言:之前准备期末考试,加之其他一些事情,学习进度有点low.需要提高效率啊,效率效率!其实,本人一直感觉自己有点强迫症,你说吧,学一个东西,钻牛角是不是不好,或者简单点说就是想达到自己感觉的&quo ...
Python数据分析入门--SciPy库学习笔记
文章目录前言 Scipy库简单入门 1.cluster模块 2. constants模块 3. fftpack模块 4. integrate 模块 5. interpolate 模块 6. lina ...
PRML 02 Introduction：贝叶斯概率
引言概率密度期望和协方差 Expectations and covariances 1加权平均值 2 多变量权重 3 条件期望 4 函数方差 5 协方差 Bayesian Probability ...
最小二乘法MSE 梯度下降法
为什么要比较这两种方法呢?很多人可能不知道,我先简单的介绍一下机器学习有两种,一种是监督学习,另一种是非监督学习.监督学习就是我告诉计算机你把班上同学分个类,分类标准是按照性别,男生和女生:非监督分 ...
MATLAB之线性回归，逻辑回归，最小二乘法，梯度下降，贝叶斯，最大似然估计
文章目录线性回归(定义域(-∞,+∞),值域(-∞,+∞),即输入输出连续) 线性回归/最小平方误差理论 MATLAB之线性回归/最小平方误差损失函数/代价函数求导法求线性回归一次拟合求线性系统 ...

最小二乘法与代价函数

最小二乘法与代价函数相关推荐

最新文章

热门文章