论文阅读笔记--ExpandNet: High Dynamic Range Expansion from Low Dynamic Range Content

Marnerides D, Bashford‐Rogers T, Hatchett J, et al. ExpandNet: A deep convolutional neural network for high dynamic range expansion from low dynamic range content[C]//Computer Graphics Forum. 2018, 37(2): 37-49.

该网络重点放在网络设计上，设计了三种不同网络分别获取图像的高频细节，中等细节，和整体轮廓信息。另外就是作者认为网络中的上采样和降采样会导致结构出现各种artifact，例如色块，马赛克等问题。因此其中两个网络不存在将采用和上采样操作。

整个框架的三个分支是局部分支、扩展分支和全局分支。每个分支本身就是一个接受RGB的CNN，LDR图像作为输入。这三个分支中的每一个都负责一个特定的方面，本地分支处理本地细节，维护和扩展高频细节，扩展分支处理中级细节，学习关于较大像素邻域的信息，全局分支负责更高级别的图像范围的特性，通过学习输入的全局上下文提供总体信息。这样设计体系结构旨在避免对下采样特征进行上采样，这样是为了减少马赛克或者光晕artifact。例自动编码器架构。

分支描述:

global branch: 目的是降低输入的维数并捕获抽象特征, 输入是整个LDR 图像 resize 到256*256, 前6层kernel=3*3*64, padding=1, 第七层kernel=4*4, padding=0, 最后输出1*1*64的feature.

local branch: 目的局部分支的小接受域(接收域5*5)提供像素级的学习，保持高频细节，包含两层, kernel=3*3*64/128, stride=1, padding=1

dilation branch: 目的随着接受域(接受域17*17)的增大，扩张网络捕获的局部特征具有中等范围的频率，而其他两个聚焦于频率两个极端的分支则错过了这些频率,总共四层使用dilated 卷积, dilation size=2, kernel=3*3*64, stride=1, padding=2,

融合描述:

三个分支的输出本融合, local branch 和 dilation branch有相同尺寸的输出,直接concatenat按channel, global branch输出是1*1*64的向量, 通过复制, 保证宽高尺寸与其他两个一致.

融合使用1*1*64的卷积, 之后使用kernel=3*3*3, stride=1,padding=1卷积, 得到三通道图像

激活函数:

Scaled Exponential Linear Unit(SELU): $SELU(z) = \beta \left\{\begin{matrix} z & if z>0\\ \alpha e^z - \alpha & if z\leq 0 \end{matrix}\right. , \quad \beta \approx 1.05070, \alpha \approx 1.67326$

网络最后一层使用sigmoid 激活函数使得结果在[0, 1] 的范围

损失函数:

采用L1, L2 会造成模糊. 在额外增加 cosine 相似性,以确保每个像素的RGB向量的颜色正确性

$\mathbb{L}_i = || \widetilde{I}_i-I_i||_1 + \lambda(1-\frac{1}{K}\sum^K_{j=i}\frac{\widetilde{I}^j_i \cdot I^j_i}{||\widetilde{I}^j_i||_2 ||I_i^j||_2})$

$\mathbb{L}_i$ 表示数据集中第i个图像的贡献loss, lamda 是调节因子, $I_i^j$ 表示第i个图像的第j个像素向量.

余弦相似度通过比较两个向量之间的角度来衡量它们之间的接近程度，而不考虑幅度。在此工作中，它确保每个像素都指向三维RGB空间的相同方向。它提供了改善的色彩稳定性，尤其是对于在HDR图像中经常出现的低亮度值，因为这些低值的RGB分量中的任何微小变化都不会对L1损失做出很大贡献，但是它们可能会引起明显的色移。

论文阅读笔记--ExpandNet: High Dynamic Range Expansion from Low Dynamic Range Content相关推荐

【论文阅读笔记】HLA-Face Joint High-Low Adaptation for Low Light Face Detection
HLA-Face Joint High-Low Adaptation for Low Light Face Detection 文章目录 HLA-Face Joint High-Low Adaptat ...
论文阅读笔记------iTM-Net: Deep Inverse Tone Mapping Using Novel Loss Function Considering TMO
Kinoshita Y, Kiya H. iTM-Net: Deep Inverse Tone Mapping Using Novel Loss Function Considering Tone M ...
LiDAR-based Panoptic Segmentation via Dynamic Shifting Network(论文阅读笔记)
LiDAR-based Panoptic Segmentation via Dynamic Shifting Network(论文阅读笔记) 环形扫描骨干网络.动态漂移.一致性驱动的融合一.重点内容 ...
Dynamic Head Unifying Object Detection Heads with Attentions 论文阅读笔记
Dynamic Head Unifying Object Detection Heads with Attentions论文阅读笔记这是微软在CVPR2021发表的文章,在coco数据集上取得了目前 ...
Dynamic MDETR: A Dynamic Multimodal Transformer Decoder for Visual Grounding 论文阅读笔记
Dynamic MDETR: A Dynamic Multimodal Transformer Decoder for Visual Grounding 论文阅读笔记一.Abstract 二.引言 ...
DnCNN论文阅读笔记【MATLAB】
DnCNN论文阅读笔记论文信息: 论文代码:https://github.com/cszn/DnCNN Abstract 提出网络:DnCNNs 关键技术: Residual learning an ...
DCP（Deep Closest Point）论文阅读笔记以及详析
DCP论文阅读笔记前言本文中图片仓库位于github,所以如果阅读的时候发现图片加载困难.建议挂个梯子. 作者博客:https://codefmeister.github.io/ 转载前请联系作者 ...
[论文阅读笔记15]Recognizing Complex Entity Mentions：A Review and Future Directions
一,题目 Recognizing Complex Entity Mentions:A Review and Future Directions 识别复杂实体mentions:回顾与未来方向 Dai X ...
对抗训练-smart 论文阅读笔记
对抗训练-smart 论文阅读笔记 SMART: Robust and Efficient Fine-Tuning for Pre-trained NaturalLanguage Models thr ...

论文阅读笔记--ExpandNet: High Dynamic Range Expansion from Low Dynamic Range Content

论文阅读笔记--ExpandNet: High Dynamic Range Expansion from Low Dynamic Range Content相关推荐

最新文章

热门文章