Huber Loss function

2024-05-14 07:26:54

Huber loss是为了增强平方误差损失函数（squared loss function）对噪声（或叫离群点，outliers）的鲁棒性提出的。

Definition

Lδ(a)=⎧⎩⎨⎪⎪⎪⎪12a2,δ⋅(|a|−12δ),for |a|≤δ,otherwise.

\begin{split} L_\delta(a)=\left \{ \begin{array}{ll} \frac12a^2,&\textrm{for } |a|\leq\delta,\\ \delta\cdot(|a|-\frac12\delta),&\textrm{otherwise.} \end{array} \right. \end{split}

参数aa通常表示residuals，也即(y−y^)(y-\hat{y})或者写作(y−f(x))(y-f(x))，当a=y−f(x)a=y-f(x)时，上述形式可以拓展为：

Lδ(y,f(x))=⎧⎩⎨⎪⎪⎪⎪12(y−f(x))2,δ⋅(|y−f(x)|−12δ),for |y−f(x)|≤δotherwise.

\begin{split} L_\delta(y, f(x))=\left\{ \begin{array}{ll} \frac12(y-f(x))^2,&\textrm{for }|y-f(x)|\leq\delta\\ \delta\cdot(|y-f(x)|-\frac12\delta),&\textrm{otherwise.} \end{array} \right. \end{split}

visualization

import numpy as np
import matplotlib.pyplot as pltdef huber_loss(e, d):return (abs(e)<=d)*e**2/2 + (e>d)*d*(abs(e)-d/2)plt.figure(figsize=(6, 4.5), facecolor='w', edgecolor='k')
x = np.arange(-20, 20)
plt.plot(x, x**2/2, label='squared loss', lw=2, 'g')
for d in (10, 5, 3, 1):plt.plot(x, huber_loss(x, d), label=r'huber loss: $\delta$={}'.format(d), lw=2)plt.legend(loc='best', frameon=False)
plt.xlabel('standard deviation')
plt.ylabel('loss')
plt.show()

References

[1] Huber Loss Wikipedia

Huber Loss function相关推荐

一文弄懂各种loss function
有模型就要定义损失函数(又叫目标函数),没有损失函数,模型就失去了优化的方向.大家往往接触的损失函数比较少,比如回归就是MSE,MAE,分类就是log loss,交叉熵.在各个模型中,目标函数往往都是 ...
【损失函数】MSE, MAE, Huber loss详解
转载:https://mp.weixin.qq.com/s/Xbi5iOh3xoBIK5kVmqbKYA https://baijiahao.baidu.com/s?id=16119517755261 ...
python如何画损失函数图_Pytorch 的损失函数Loss function使用详解
1.损失函数损失函数,又叫目标函数,是编译一个神经网络模型必须的两个要素之一.另一个必不可少的要素是优化器. 损失函数是指用于计算标签值和预测值之间差异的函数,在机器学习过程中,有多种损失函数可供选 ...
损失函数（loss function）
文章目录 1.什么是损失函数 2.为什么要使用损失函数 3.损失函数分类 1.分类一 2.分类二 3.分类三 3.1基于距离度量的损失函数 3.1.1 均方误差损失函数(MSE) 3.1.2 L2损失 ...
损失函数（Loss Function）在实际应用中如何合理设计
目录 1 前言 2 回归(Regression)任务 2.1 均方误差MSE(mean squared error) 2.2 平均绝对误差MAE( mean absolute error) 2.3 H ...
损失函数Loss Function
简介损失函数(loss function)或代价函数(cost function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的"风险"或"损失&q ...
神经网络中，设计loss function有哪些技巧?
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自:视学算法神经网络中,设计loss function有哪 ...
损失函数(Loss Function) -1
http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf Loss Function 损失函数 ...
R语言构建xgboost模型：自定义损失函数（目标函数、loss function、object function）、评估函数（evaluation function）
R语言构建xgboost模型:自定义损失函数(目标函数.loss function.object function).评估函数(evaluation function) 目录

最新文章

热门文章