Kinoshita Y, Kiya H. iTM-Net: Deep Inverse Tone Mapping Using Novel Loss Function Considering Tone Mapping Operator[J]. IEEE Access, 2019, 7: 73555-73563.

摘要：

在本文中，我们提出了一种新的反色调映射网络，称为iTM-Net。在训练iTM-Net时，我们也提出了一个新的损失函数，它考虑了低动态范围(LDR)和高动态范围(HDR)图像之间的非线性关系。针对卷积神经网络的色调逆映射问题，我们首先指出训练具有标准损失函数的CNNs会因为LDR和HDR图像之间的非线性关系而产生问题。针对这一问题，提出了一种基于色调映射算子的HDR图像非线性损失函数映射算法，将HDR图像映射为LDR图像，并计算了色调映射图像与预测图像之间的距离。提出的损失函数不仅可以对HDR图像进行归一化处理，而且可以减少LDR图像与HDR图像之间的非线性关系。实验结果表明，无论是HDR- vdp -2.2还是PU编码的C MS-SSIM，本文提出的iTM-Net预测的HDR图像的质量都比传统的反色调映射方法(包括目前的技术水平)预测的HDR图像的质量都要高。此外，与不考虑非线性关系的损耗函数相比，本文提出的损耗函数可以改善网络的性能。

在本文中，我们提出了一种新的反色调映射网络，称为iTM-Net。与[18]相似，我们的目标是通过线性化的iTM-Net获得相对亮度。为了实现这一点，我们还提出了一个新的损失函数，它考虑了LDR和HDR图像之间的非线性关系。在新的损失函数中，利用一个可逆的色调映射算子将目标HDR图像的色调映射到LDR图像中，然后计算色调映射图像与预测图像之间的距离。提出的损失函数不仅可以对HDR图像进行归一化处理，而且可以广泛分布像LDR图像这样的HDR图像的像素值。我们的iTM-Net是在不使用生成对抗网络的情况下实现的，目的是使iTM-Net适用于具有不同分辨率的图像

所有HDR图像被简单地归一化到[0;1]采用最小-最大归一化。然而，使用归一化的HDR图像来计算预测损失会导致一个问题，即归一化图像的像素值大多分布在一个较窄的范围内。这是由于LDR和HDR图像之间的非线性关系，所以正如[17]中指出的，LDR和HDR图像的图像统计差异很大。因此，我们的目标是提高基于cnn的反向色调映射的性能，通过使用一种新的损失函数来考虑学习HDR图像的非线性关系

在训练中，所有输入的LDR图像x都是使用各种虚拟摄像机 从目标HDR图像E中生成的

loss function:

ExpandNet [18] 中的loss 为：

然而，与LDR图像不同的是，HDR图像的像素值不均匀分布在一个非常宽的[17]范围内，因此min-max归一化不适合学习HDR图像

基于这个原因，本文采用可逆的色调映射操作  代替 min-max 标准化 

Reinhard’s global operator [31] is utilized as ,

 分别表示像素级的乘法和除法，,  表示几何平均数

PREDICTION:

ITM-NET 结构：

网络由三部分构成local encoder + global encoder + decoder：

local encoder: 输入 P = H * W , 24-bit LDR 图像

global encoder:  输入是将输入LDR图像resize到 128*128

3*3 Conv. + BN +ReLU :  filter size = 3 * 3, stride=1, padding=1, BN = batch normalization

2 * 2 Max pool: kernel size = 2 * 2, stride =2

4*4 Transposed Conv. + BN + ReLU: filter size=4*4, stride = 1/2, padding=1

1 * 1 Conv. +ReLU : filter size = 1 * 1, stride = 1, padding=1

4 * 4 Conv. + BN + ReLU(w/o padding): filter size = 4 * 4, padding=0

在工作[18]中，Marnerides等人声称U-Net在预测的HDR图像中会导致不必要的块效应。我们的初步实验结果表明，块效应现象是由于其网络结构无法处理全局图像信息造成的。因此，我们利用全局编码器并结合两个编码器提取的特征来防止失真。

实验：

从 HDR图像  计算曝光X: 

快门速度  v 是随机数

产生输入LDR图像x :

iTM-Net 训练中 使用Adam 优化， 参数为

对比试验：Direct ITMO[15], pseudo-multi-exposure-based tone fusion(PMET)[13], ExpandNet[18],和以下的

[13] T.-H. Wang, C.-W. Chiu, W.-C. Wu, J.-W. Wang, C.-Y. Lin, C.-T. Chiu, and J.-J. Liou, ‘‘Pseudo-multiple-exposure-based tone fusion with local region adjustment,’’ IEEE Trans. Multimed., vol. 17, no. 4, pp. 470–484, Apr. 2015.
[15] Y. Kinoshita, S. Shiota, and H. Kiya, ‘‘Fast inverse tone mapping based on Reinhard’s global operator with Estimated Parameters,’’ IEICE Trans. Fundam. Electron. Commun. Comput. Sci., vol. 100, no. 11, pp. 2248–2255, Nov. 2017.

[18] Marnerides D, Bashford‐Rogers T, Hatchett J, et al. ExpandNet: A deep convolutional neural network for high dynamic range expansion from low dynamic range content[C]//Computer Graphics Forum. 2018, 37(2): 37-49.

[31] E. Reinhard, M. Stark, P. Shirley, and J. Ferwerda, ‘‘Photographic tone reproduction for digital images,’’ ACM Trans. Graph., vol. 21, no. 3, pp. 267–276, Jul. 2002.

论文阅读笔记------iTM-Net: Deep Inverse Tone Mapping Using Novel Loss Function Considering TMO相关推荐

1. 论文阅读笔记——VulDeePecker: A Deep Learning-Based System for Vulnerability Detection

   本论文相关内容 论文下载地址--Engineering Village 论文中文翻译--VulDeePecker: A Deep Learning-Based System for Vulnerabi ...

2. 论文阅读笔记《Fine-tuning Deep Neural Networks in Continuous Learning Scenarios》

   摘要:深度神经网络的复兴与ImageNet数据集的公开为近期复杂识别任务的成功奠定了基础.然而,ImageNet并不能包含所有可能的应用场景的所有视觉概念.因此,应用科学家仍然不断地记录新的数据,并期 ...

3. 论文阅读笔记:Deep Chain HDRI: Reconstructing a HDR Image from a Single LDR Image

   Lee, S., An, G. H., & Kang, S. J. (2018). Deep chain HDRI: Reconstructing a high dynamic range i ...

4. DCP（Deep Closest Point）论文阅读笔记以及详析

   DCP论文阅读笔记 前言 本文中图片仓库位于github,所以如果阅读的时候发现图片加载困难.建议挂个梯子. 作者博客:https://codefmeister.github.io/ 转载前请联系作者 ...

5. 论文阅读笔记：Improving Attacks on Speck32 / 64 using Deep Learning

   论文阅读笔记:Improving Attacks on Speck32 / 64 using Deep Learning 本文通过神经网络利用了减少轮数的 Speck 的差分性质.为此,作者对神经网络 ...

6. 论文阅读笔记——A deep tree-based model for software defect prediction

   本论文相关内容 论文下载地址--Web Of Science 论文中文翻译--A deep tree-based model for software defect prediction 论文阅读笔记 ...

7. VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION(VGG网络)-论文阅读笔记

   VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION VGG网络 论文阅读笔记 //2022.4.11上午9:53开始阅 ...

8. 论文阅读笔记（15）：Deep Subspace Clustering with Data Augmentation，深度子空间聚类+数据增强

   论文阅读笔记(15):Deep Subspace Clustering with Data Augmentation,深度子空间聚类+数据增强 摘要 1 介绍 2 相关工作 带增强的聚类方法 具有一致 ...

9. Visual Attribute Transfer through Deep Image Analogy论文阅读笔记

   Visual Attribute Transfer through Deep Image Analogy论文阅读笔记 介绍 论文提出了一种新的两张图片直接进行视觉属性迁移的方法.该方法针对的是两张具有 ...

最新文章

1. MySql 之 left join 避坑指南
2. django 完整日志配置
3. 清华团队将Transformer用到3D点云分割上后，效果好极了丨开源
4. Pandas中DataFrame的属性及方法大全
5. 1700 Crossing River
6. php Imagick()扩展,实现将原图截取成不同规格尺寸的图片
7. MFC中COMBO BOX的设置
8. 13.无名管道通讯编程
9. QoS队列调度技术详解
10. Cannot resolve com.oracle:ojdbc14:11.2.0.1.0
11. 开源微信共享记账小程序
12. WPF教程（三十四）Hello, bound world!
13. 区块链开发入门教程推荐
14. 抖音小程序开发教程之 02 创建第一个hello world 小程序（教程含源码）
15. OutMan——Foundation框架中的常用结构体、NSNumber类和NSValue类
16. 铁道部购票网站可能造成另一次的密码危机
17. STL库：stack和queue
18. python实现分词算法代码
19. 【Bug解决】Could not find resource com/kuang/mapper/Mapper.xml
20. 如何清除木马--104种木马手工清除方法

热门文章

1. 万字详文：彻底搞懂 Jest 单元测试框架
2. 带你读透 SEATA 的 AT 模式
3. udp可靠传输那些事之游戏篇
4. html合并单元格后有虚线,如何去掉excel中的虚线？
5. python打印经典故事从前有座山
6. 在windows环境中部署SSM项目到阿里云服务器-对象存储OSS
7. labview提取汽车车牌
8. Java8的LocalDate类用来获取年月日的开始结束时间，当前时间
9. 无需代码即可实现Excel中图片链接的批量下载
10. QQ群文件加载不出来问题的解决办法