Charbonnier Loss

最近在做一些图像生成的相关任务，看到了有些论文用Charbonnier Loss来近似 $l_{1}$ 损失来提高模型的性能，这里就对论文中提到的Charbonnier Loss做一个梳理。

Charbonnier Loss的表达式如下所示：

$Charbonnier_Loss =\sqrt{x^{2}+\epsilon^{2}}$

首先参考以下这篇超分辨领域的论文《Fast and Accurate Image Super-Resolution with Deep Laplacian Pyramid Networks》：

http://xxx.itp.ac.cn/pdf/1710.01992xxx.itp.ac.cn/pdf/1710.01992

下面截取文章中几处提到该损失函数优点的地方。

translation：我们证明了所提出的具有鲁棒 Charbonnier 损失函数的深度网络可以更好地处理异常值，比L2 损失函数提高 SR 性能。

最后按照惯例给出函数的代码，其实也很简单：

class L1_Charbonnier_loss(torch.nn.Module):"""L1 Charbonnierloss."""def __init__(self):super(L1_Charbonnier_loss, self).__init__()self.eps = 1e-6def forward(self, X, Y):diff = torch.add(X, -Y)error = torch.sqrt(diff * diff + self.eps)loss = torch.mean(error)return loss

损失函数

我们舍弃了L2和L1这两种损失函数，因为他们都会造成图像过于平滑的问题，缺乏感官上的照片真实感，我们采用的损失函数是一个很稳定的损失函数 Charbonnier loss function，总体的函数我直接截图了，论文中也并没有提及这个损失函数为什么好用，感兴趣的可以去翻这个损失函数的论文。

优点可能是曲线更平滑了，接近零点的值的梯度由于常数西普斯隆的存在，梯度也不会太小，避免梯度消失；远离零点的值的梯度由于开方，梯度也不会太大，避免梯度爆炸。不太准确，主观分析了一波

Charbonnier Loss相关推荐

（SRNTT）Image Super-Resolution by Neural Texture Transfer
总结一波: 与TTSR有很多相似之处,SRNTT可以看成是TTSR的前身,其中除了网络设计不同外,损失函数SRNTT比TTSR多了一个纹理损失(与以往的工作不同,我们添加了纹理损失来考虑文纹理上的一致 ...
Uformer: A General U-Shaped Transformerfor Image Restoration
目录 (1)Encoder (2)Bottleneck stage(图一,最下面的两个LeWin Transformer blocks) (3)Decoder LeWin Transformer Bl ...
【论文笔记】Learning Enriched Features for Real Image Restoration and Enhancement
Learning Enriched Features for Real Image Restoration and Enhancement Abstract Contribution Method(M ...
Learning Enriched Features for Real Image Restoration and Enhancement Paddle模型复现93号（1）
Evaluation Image Denoising 图像去噪的Testing on SIDD dataset.Testing on DND dataset Image Super-resoluti ...
LiteFlowNet：用于光流估计的轻量级卷积神经网络
LiteFlowNet:用于光流估计的轻量级卷积神经网络原文链接摘要 FlowNet2 [14] 是用于光流估计的最先进的卷积神经网络 (CNN),需要超过 160M 的参数才能实现准确的流估 ...
EDVR: Video Restoration with Enhanced Deformable Convolutional Networks阅读笔记
EDVR: Video Restoration with Enhanced Deformable Convolutional Networks EDVR:基于增强可变形卷积网络的视频恢复论文:htt ...
图像超分辨率——LapSRN2017
论文地址:http://vllab.ucmerced.edu/wlai24/LapSRN/papers/cvpr17_LapSRN.pdf 开源代码:https://github.com/phoeni ...
BasicVSR论文阅读笔记
BasicVSR & IconVSR BasicVSR 阅读笔记摘要简介相关工作方法 BasicVSR Propagation(传播) Alignment Aggregation an ...
Multi-Stage Feature Fusion Network for Video Super-Resolution阅读笔记
Multi-Stage Feature Fusion Network for Video Super-Resolution 用于视频超分辨率的多级特征融合网络论文:Multi-Stage Featu ...

Charbonnier Loss

损失函数

Charbonnier Loss相关推荐

最新文章

热门文章