机器学习的L1、L2损失函数

问题一：损失函数是什么？

损失函数就一个具体的样本而言，模型预测的值与真实值之间的差距。
哦哦，这句话怎么理解呢，就是我们使用自己的算法模型，然后就是自己的模型产生了一个自己进行判断出来的y(猜)，然后我们放入模型进行训练的值就有一个y（真正），如何衡量我们模型产生的一个预测值和原本的值之间的差距呢，就是使用这个损失函数进行一个配对，让我们可以直观地看到机器学习的效果。

还有一种说法是：对于一个样本（xi,yi）其中yi为真实值，而f（xi）为我们的预测值。使用损失函数L（f(xi),yi）来表示真实值和预测值之间的差距。两者差距越小越好，最理想的情况是预测值刚好等于真实值。

下面来介绍一些主流的损失函数

L1 Loss损失函数

L1 Loss损失函数的优点与缺点

观察L1 Loss的图像如图下图所示：在图中我们可以看到的就是L1 Loss对于进行求导之后的线段是一个直线，因为我们可以联想提到的L1 Loss的损失函数公式，就能进行推导出来这个求导的线段。

pytorch实现：

x = torch.Tensor([1, 2, 3])
y = torch.Tensor([1, 0, 6])
L1loss = nn.L1Loss()
loss1 = L1loss(x, y)
print(loss1)

优点：

L1 loss的鲁棒性(抗干扰性)比L2 loss强。概括起来就是L1对异常点不太敏感，而L2则会对异常点存在放大效果。因为L2将误差平方化，当误差大于1时，误会会放大很多，所以使用L2 loss的模型的误差会比使用L1 loss的模型对异常点更敏感。如果这个样本是一个异常值，模型就需要调整以适应单个的异常值，这会牺牲许多其它正常的样本，因为这些正常样本的误差比这单个的异常值的误差小。如果异常值对研究很重要，最小均方误差则是更好的选择。

缺点：

L1 loss 对 x(损失值)的导数为常数，在训练后期，x较小时，若学习率不变，损失函数会在稳定值附近波动，很难收敛到更高的精度。
L2 loss的稳定性比L1 loss好。概括起来就是对于新数据的调整，L1的变动很大，而L2的则整体变动不大。

L2 Loss损失函数

L2 Loss损失函数的图像如下：

缺点：

从L2 loss的图像可以看到，图像(上图左边红线)的每一点的导数都不一样的，离最低点越远，梯度越大，使用梯度下降法求解的时候梯度很大，可能导致梯度爆炸。

比如在深度学习的领域里面一般是不适用L1 Loss损失函数，一般使用L2Loss损失函数。

机器学习的L1、L2损失函数相关推荐

[转] L1 L2范数
作者:Andy Yang 链接:https://www.zhihu.com/question/26485586/answer/616029832 来源:知乎著作权归作者所有.商业转载请联系作者获得授 ...
机器学习之L1、L2的区别与相关数学基础知识
机器学习数学基础概念.知识汇总(线代) 数学概念映射与函数线性与非线性空间线性空间(向量空间) 向量基矩阵范数 L-p范数 L-0范数 L-1范数 L-2范数 L-∞范数机器学习中的正 ...
L1 损失函数和 L2 损失函数
L1 和 L2 是机器学习中的两个损失函数,用于最小化误差. L1 损失函数代表最小绝对偏差,也称为 LAD L2 损失函数代表最小二乘误差,也称为 LS 文章目录一.L1 损失函数二.L2 损失 ...
L1、L2、smooth L1三类损失函数
一.常见的MSE.MAE损失函数 1.1 均方误差.平方损失均方误差(MSE)是回归损失函数中最常用的误差,它是预测值与目标值之间差值的平方和,其公式如下所示: 下图是均方根误差值的曲线分布,其中最 ...
机器学习基础-23:矩阵理论(L0/L1/L2范数等)
机器学习基础-23:矩阵理论(L0/L1/L2范数等) 机器学习原理与实践(开源图书)-总目录,建议收藏,告别碎片阅读! 线性代数是数学的一个分支,广泛应用于科学和工程领域.线性代数和矩阵理论是机器学 ...
机器学习中L1正则化和L2正则化是什么？区别是什么？
机器学习中L1正则化和L2正则化是什么?区别是什么? 我们所说的正则化,就是在原来的loss function的基础上,加上了一些正则化项或者称为模型复杂度惩罚项. 结构风险最小化: 在经验风险最小化 ...
Lasso回归系列三：机器学习中的L0, L1, L2, L2,1范数
L0, L1, L2, L2,1范数机器学习中的范数定义不同于数学中的定义. 对于向量xxx (x=[x1,x2,x3,...xm]x=[x_1,x_2,x_3,... x_m]x=[x1,x2 ...
浅谈L0,L1,L2范数及其应用
原文传送门:浅谈L0,L1,L2范数及其应用浅谈L0,L1,L2范数及其应用在线性代数,函数分析等数学分支中,范数(Norm)是一个函数,其赋予某个向量空间(或矩阵)中的每个向量以长度或大小.对于 ...
机器学习中常见的损失函数_机器学习中最常见的损失函数
机器学习中常见的损失函数现实世界中的DS (DS IN THE REAL WORLD) In mathematical optimization and decision theory, a los ...