损失函数为什么用平方形式

这两种形式本质上是等价的。只是MSE计算得到的值比SSE计算得到的值要小，因为除了一个n。误差平方和以及均方差的公式中有系数1/2，是为了求导后，系数被约去。

它们都是平方形式，一个重要原因是：误差的平方形式是正的，是正数。这样正的误差和负的误差不会相互抵消。这就是为什么不用一次方，三次方的原因。

但是，误差的绝对值也是正的，为什么不用绝对值呢。所有还有第二个重要原因是：平方形式对大误差的惩罚大于小误差。例如：

(10−5)2=25，|10−5|=5(10−5)2=25，|10−5|=5

(10−8)2=4，|10−8|=2(10−8)2=4，|10−8|=2

一个是25：4，一个是5：2，显然平方形式对大误差的惩罚更大。

此外，还有第三个重要原因：平方形式对数学运算也更友好。我们经常要求损失函数的导数，平方形式求导后变成一次函数；而绝对值形式对求导数学运算很不友好，需要分段求导。

此外，4次方，6次方，8次方虽然也能避免误差正负相抵消，但对大误差的惩罚又过大了；此外，求导后也仍然是多次函数。

参考：

https://blog.csdn.net/saltriver/article/details/77744766

损失函数为什么用平方形式相关推荐

损失函数为什么用平方形式（二）
我们在以前谈过<线性回归损失函数为什么要用平方形式>,除了这篇文章中提到的理由外.还有什么依据呢? 平方形式的损失函数一般为: C=12∑i=1n(yi−yˆi)2 C =\frac {1 ...
线性回归损失函数为什么要用平方形式
我们在前面的<线性回归>中了解到,对于训练数据样本(xi,yi)({x_i},{y_i}),我们有如下的拟合直线: yˆi=θ0+θ1∙xi {\widehat y_i} = {\thet ...
【深度学习】损失函数系列 (一) 平方损失函数、交叉熵损失函数 (含label_smoothing、ignore_index等内容)
一.平方损失函数(Quadratic Loss / MSELoss): Pytorch实现: from torch.nn import MSELoss loss = nn.MSELoss(reduct ...
Gradient Boost Decision Tree（GBDT）中损失函数为什么是对数形式
由于最近要经常用到XGBOOST的包,不免对相关的GBDT的原理又重新学习了一遍, 发现其中在考虑损失函数的时候,是以对数log进行度量的,囿于误差平方和函数的印象那么为什么是对数呢?可能是下面的原 ...
线性回归的损失函数与逻辑回归的损失函数
一.线性回归损失函数的两种解释线性回归的损失函数是平方损失函数,为什么使用平方的形式,参考:线性回归损失函数为什么要用平方形式,讲得很清楚. 在线性回归中,对于训练数据样本 (xi,yi) (x_i ...
Apollo代码学习(六)—模型预测控制(MPC)
Apollo代码学习-模型预测控制前言模型预测控制预测模型线性化单车模型滚动优化反馈矫正总结前言非专业选手,此篇博文内容基于书本和网络资源整理,可能理解的较为狭隘,起点较低,就事论 ...
PyTorch的损失函数和优化器
文章目录 PyTorch的损失函数和优化器损失函数优化器总结 PyTorch的损失函数和优化器损失函数一般来说,PyTorch的损失函数有两种形式:函数形式和模块形式.前者调用的是torch ...
机器学习之数学基础(四)～Lasso Regression回归, L1、L2 Regularization正则化, 回归问题中的损失函数
目录 1. Lasso回归 1.1 概念 1.2 正则化 1.3 Lasso回归模型 1.4 为什么Lasso Regression可以做降维? 1.5 参数求解 (1)坐标轴下降法 (2)最小角回归 ...
机器学习-常见的损失函数比较
在机器学习每一个算法中都会有一个目标函数,算法的求解过程是通过对这个目标函数优化的过程.在分类或者回归问题中,通常使用损失函数(代价函数)作为其目标函数.损失函数用来评价模型的预测值和真实值不一样的程 ...
基于阈值的损失函数_【代码+推导】常见损失函数和评价指标总结
(给机器学习算法与Python学习加星标,提升AI技能) 作者:董文辉本文长度为4500字,建议阅读10+分钟本文为你总结常见损失函数和评价指标. 目录一.损失函数 1.1 回归问题 1.2 分 ...

损失函数为什么用平方形式

损失函数为什么用平方形式相关推荐

最新文章

热门文章