CNN阴影去除--DeshadowNet: A Multi-context Embedding Deep Network for Shadow Removal

DeshadowNet: A Multi-context Embedding Deep Network for Shadow Removal
CVPR2017

本文使用深度学习CNN网络来进行阴影去除，最大的特色就是全自动的端对端的实现阴影去除。 automatic and end-to-end deep neural network (DeshadowNet)

阴影去除也算是一个老大难问题了，目前存在的方法主要问题有如下三点：
1）Lack of a fully-automatic and end-to-end pipeline
2）Neglect high level semantic information，目前大部分算法采用 low-level 特征， color ratios，color statistics 。但是阴影同样与 semantic contents 高度相关 (例如 geometry and material)
3）Require specific operation for penumbra regions 对于半阴影区域需要特别操作

针对阴影去除，目前还没有很好的数据库，我们自己建立了一个较大数据库
3 A New Dataset for Shadow Removal – SRD
自己拍照搞了 3088 图像对，主要考虑以下四个因素：Illumination，Scene，Reflectance，Silhouette

我们提出的 DeshadowNet 是 multi-context的，它综合 high-level semantic information, mid-level appearance information and local image details 这些信息来进行最终的预测，这个 multi-context embedding 是通过三个子网络来实现的: global localization network (G-Net), appearance modeling network (A-Net), and semantic modeling network (S-Net)

G-Net 提取阴影特征表示来描述场景中的全局结构和 high-level semantic context
G-Net extracts shadow feature representation to describe the global structure and high-level semantic context of the scene

A-Net 提取 G-Net 浅层中的 appearance 信息
A-Net acquire the appearance information from the shallower layer of G-Net

S-Net 提取 G-Net 深层中的 semantic 信息
S-Net acquire the semantic information from the deeper layer of G-Net

本文提出的网络结构

本文提出的网络结构中间结果的显示

网络模型参数设置

损失函数定义
我们采用了 Mean Squared Error (MSE) as the loss function in the log space

Training strategy
为了防止过拟合，我们采用以下训练策略：
1）Multi-stage training strategy 多阶段训练，先分开训练G-Net+A-Net and G-Net+S-Net，然后再整体训练
2） Multi-size training strategy 多尺度训练， coarse scale 64 × 64, medium scale 128 × 128, and fine scale 224 × 224
3）Data synthesis 合成更多的训练数据，60,000 640×480
4）Data augmentation 包括 image translations, flipping and cropping

CNN阴影去除--DeshadowNet: A Multi-context Embedding Deep Network for Shadow Removal相关推荐

技术详解 | 如何用GAN实现阴影检测和阴影去除？
作者 | 江亦凡最近两天刚看到的论文,写一篇文章当做笔记,论文原文取自https://arxiv.org/abs/1712.02478 继去年底Phillip Isola, Jun-Yan Zhu等 ...
图像恢复系列之（6）超分（7）反光去除（8）光斑去除（9）阴影去除（10）水下图像失真去除 | ICCV2021生成对抗GAN...
六.图像恢复-超分 20.Fourier Space Losses for Efficient Perceptual Image Super-Resolution 许多超分辨率 (SR) 模型仅针对精 ...
图像暗角阴影去除算法
暗角的概念暗角一词属于摄影术语,是指一幅图像的四周的亮度或饱和度相比于中间部分的降低,画面四角有变暗的现象.暗角对于任何相机设置或镜头都不可避免.当然有时会故意引入暗角这种效果. 产生暗角的原因 ( ...
CVPR2022-利用3D合成数据进行人像眼镜和阴影去除
(说明:如果您认为下面的文章对您有帮助,请您花费一秒时间点击一下最底部的广告以此来激励本人创作,谢谢!!!) 许多面部识别技术假设输入面部图像不具有遮挡.如果不满足该假设,则模型的性能会下降.其中一种 ...
文献学习(part14)--Structural Deep Network Embedding
学习笔记,仅供参考,有错必纠文章目录 Structural Deep Network Embedding ABSTRACT INTRODUCTION RELATED WORK Deep Neural ...
【论文阅读｜深读】SDNE:Structural Deep Network Embedding
目录前言 ABSTRACT 1. INTRODUCTION 2. RELATED WORK 2.1 Deep Neural Network 2.2 Network Embedding 3. STRU ...
【医学+深度论文：F14】2018 Joint Optic Disc and Cup Segmentation Based on Multi Label Deep Network
14 2018 T-MI (IEEE Transactions on Medical Imaging ) Joint Optic Disc and Cup Segmentation Based on ...
Diverse Embedding Expansion Network and Low-Light Cross-Modality Benchmark for V-I Re-ID:如何有效利用生成嵌入？
文章目录题目:Diverse Embedding Expansion Network and Low-Light Cross-Modality Benchmark for Visible-Infra ...
基于 OpenCV 的图像阴影去除
作者 | 努比来源 | 小白学视觉我们经常需要通过扫描将纸上的全部内容转换为图像.有很多在线工具可以提高图像的亮度,或者消除图像中的阴影.但是我们可以手动删除阴影吗?当然可以,我们只需要将图像加载 ...

CNN阴影去除--DeshadowNet: A Multi-context Embedding Deep Network for Shadow Removal

CNN阴影去除--DeshadowNet: A Multi-context Embedding Deep Network for Shadow Removal相关推荐

最新文章

热门文章