深度学习损失函数原理分析（二）

上一章节主要介绍了均方误差（MSELoss）与交叉熵损失（CrossEntropyLoss）两个损失函数原理及应用，本章将介绍
L1范数损失。
2.4 L1范数损失(L1_loss)
L1_loss表示预测值与真实值之差的绝对值；也被称为最小绝对值偏差（LAD）,绝对值损失函数（LAE）。总的来说，它是把目标值y与估计值f(x)的绝对差值的总和最小化。

代码：

import numpy as np
import torch
import torch.nn as nn
#数学公式
y=np.array([0,2,3,4,5],dtype=float)
f=np.array([1,0,1,0,0],dtype=float)
output=np.sum(y-f)
print("output:",output)

结果：

output: 12.0

优势：鲁棒性较好。如果需要考虑任一或全部的异常值，那么最小绝对值偏差是更好的选择
缺点：坐标原点（极小值）附近，有折点，不光滑，对于L1损失函数，其导数为常数，当预测值与真实值差异较小时，损失函数导数绝对值任然为1，如果学习率（learning_rate）不变，损失函数将在稳定值附近波动，难以继续收敛达到更高精度。

2.5 L2范数损失
L2范数损失函数被称为最小平方差（LSE）。把预测值f(x)与目标值y的差值的平方和（S)最小化：

代码：

import numpy as np
import torch
import torch.nn as nn
#数学公式
y=np.array([0,2,3,4,5],dtype=float)
f=np.array([1,0,1,0,0],dtype=float)
output=np.sum(np.square(y-f))
print("output:",output)

结果：

output: 50.0

优势：稳定性较好，L2损失函数处处可导，损失函数求解可以得到一个解析解。
缺点：L2损失函数稳健性较差，因为当误差较大时，损失函数采用平方，对异常值敏感。可能导致梯度爆炸为nan
**L1与L2优缺点对比：**如下图所示。

2.6 平滑版L1损失（SmoothL1Loss）
从字面意思上看，smooth L1说的是光滑之后的L1，前面说了L1、L2损失函数的缺点，怎么减少这些缺点对模型的影响，从两个方面限制梯度。
1.预测值与目标值差别过大时，梯度值不至于过大；
2.预测值与目标值差别过小时，梯度值足够小。
smooth1损失函数为：

在smooth L1在x较小时，对x的梯度也会变小，而在x很大时，对x的梯度的绝对值达到上限1，也不会太大以至于梯度爆炸，解决了L1、L2损失缺陷。其函数图像。

如图所示：坐标原点附近导数平滑，在接近极小值时导数非常小，远离坐标导数与L1保持一致，不存在L2梯度爆炸。
总结：本章节主要介绍L1、L2损失函数，根据L1,L2函数缺点，又介绍了Smooth L1损失函数。

深度学习损失函数原理分析（二）相关推荐

Python大数据综合应用：零基础入门机器学习、深度学习算法原理与案例
机器学习.深度学习算法原理与案例实现暨Python大数据综合应用高级研修班一.课程简介课程强调动手操作:内容以代码落地为主,以理论讲解为根,以公式推导为辅.共4天8节,讲解机器学习和深度学习的模型 ...
深度学习在情感分析中的应用
然语言情感分析简介情感分析无处不在,它是一种基于自然语言处理的分类技术.其主要解决的问题是给定一段话,判断这段话是正面的还是负面的.例如在亚马逊网站或者推特网站中,人们会发表评论,谈论某个商品.事件 ...
【案例实践】Python多元线性回归、机器学习、深度学习在近红外光谱分析中的实践应用
查看原文>>>基于Python多元线性回归.机器学习.深度学习在近红外光谱分析中的实践应用 [专家]: 郁磊副教授主要从事MATLAB 编程.机器学习与数据挖掘.数据可视化和软件开 ...
深度学习入门笔记（二十）：经典神经网络（LeNet-5、AlexNet和VGGNet）
欢迎关注WX公众号:[程序员管小亮] 专栏--深度学习入门笔记声明 1)该文章整理自网上的大牛和机器学习专家无私奉献的资料,具体引用的资料请看参考文献. 2)本文仅供学术交流,非商用.所以每一部分具 ...
深度学习在视频分析中的架构、算法及应用
直播与短视频业务的兴起,代表了一种内容交互方式的变化,更加追求强交互,这种变化催化了很多技术和架构的转型,由传统的传输.存储优先演进为计算与智能.本文是由360人工智能研究院视频大数据组技术负责人陈强 ...
深度学习之图像分类（二十八）-- Sparse-MLP(MoE)网络详解
深度学习之图像分类(二十八)Sparse-MLP(MoE)网络详解目录深度学习之图像分类(二十八)Sparse-MLP(MoE)网络详解 1. 前言 2. Mixture of Experts 2 ...
Python多元线性回归、机器学习、深度学习在近红外光谱分析中的应用
导师:郁磊副教授,主要从事MATLAB 编程.机器学习与数据挖掘.数据可视化和软件开发.人工智能近红外光谱分析.生物医学系统建模与仿真,具有丰富的实战应用经验,主编<MATLAB智能算法30个案 ...
从TensorFlow到DL4J——主流深度学习框架对比分析
从TensorFlow到DL4J--主流深度学习框架对比分析 2022年2月22日极链AI云官网地址点击注册更多AI小知识,关注<极链AI云>公众号文章目录从TensorFlo ...
综述：基于深度学习的情感分析
近年来,深度学习有了突破性发展,NLP 领域里的情感分析任务逐渐引入了这种方法,并形成了很多业内最佳结果.本文中,来自领英与伊利诺伊大学芝加哥分校的研究人员对基于深度学习的情感分析研究进行了详细论述. ...

深度学习损失函数原理分析（二）

深度学习损失函数原理分析（二）相关推荐

最新文章

热门文章