《论文阅读》Joint Demosaicing and Denoising with Self Guidance
留个笔记自用
Joint Demosaicing and Denoising with Self Guidance
做什么
Demosaicing and Denoising去马赛克和去噪，这里其实是两个功能，首先是去马赛克，它旨在通过滤色器阵列(CFA)后的不完全观察来重建全分辨率彩色图像，而去噪就更加常见了，指减少数字图像中噪声的过程称为图像去噪
做了什么
文章这里研究的方法是利用密度图和绿色通道进行引导的方法
需要了解一下什么是RGGB图片
拜尔滤色镜（英语：Bayer filter）是一种将RGB滤色器排列在光传感组件方格之上所形成的马赛克彩色滤色阵列。数码相机、录影器、扫描仪等使用的单片机数字图像传感器大多数用这种特定排列的滤色阵列来制作彩色影像。这种滤色器的排列有50%是绿色，25%是红色，另外25%是蓝色，因此也称做RGBG，GRGB，或者RGGB。
怎么做
首先先理解下结构输入的处理方式，这里输入的图片是一张RGGB图片，假设RGGB的维度为2H×2W，根据排列方式可知RGGB图片可分解为
且四个维度均为H×W×1
然后就是对整体结构分部分理解，可以分为2个部分，Density-map guidance密度图引导部分和Green-channel guidance绿色通道引导部分，这俩部分的引导也符合文章最开始的说法
根据上面得到的4张图，简单计算得到一张灰度图
鉴于以前的各种去噪方法，这里设计一张密度图，让网络知道输入图像每个位置的难度等级，即纹理密集的地方为高频区域，纹理稀疏的地方为低频区域
这里的g1和g2均为高斯模糊运算，K1和K2分别是不同的高斯核大小，这样就得到了一张密度图
最后再加上一张原图加上高斯噪声的噪声图Inoise
将其直接concatenate，就组成了处理后的input
之后是这里使用到的一个模块Residual-in-Residual Dense Block（RRDB）
从结构上看就是非常多的Dense Block和残差的组合，这个结构的作用是充分探索和提取局部信息。
结构中存在着2个RRDB
上面得到的是重建的绿色通道IG（因为文中假设绿色通道蕴含着更容易的信息）下面得到的是重建的全体特征
然后就是结构中的另外一个模块fusion模块
这里的输入有重建的绿色通道IG和全体特征
这里有一个特殊的地方，这里有使用一种空间自适应卷积运算，应用于主重建分支中的中间特征映射，以使积分过程适应绿色通道IG的内容。空间自适应卷积是内容感知的，其中卷积在不同的位置以不同的方式进行。
这里的Ω是一个s×s的卷积窗口，W是卷积权重，fi是图中的f在i位置的向量，G是一个高斯函数
最后是LOSS和训练
整体LOSS分为4个部分
首先是Ledge，这个LOSS为Adaptive-threshold edge loss即自适应阙值边缘损失
第一步先对网络输出结果Io和IT使用Canny边缘检测算法（上面有提到过），这里称得到的边缘二值图为E(IO)和E(IT)，但这里的结果可能并不满意，为了使其局部效果更加理想，将整张边缘二值图分为多个patch，这里假设为pi，然后不同的patch定义不同的阙值
这里的SPi表示第i个patch中所有元素值得和，这样就得到了各个patch的自适应阙值
在前面我们得到了E(IO)和E(IT)，通过这两个就可以近似得到p(E(Pi; θi))，计算方法是通过计算被检测为边缘像素的像素的比例
之后就能定义LOSS
这里的E即为图I中边缘像素点的个数，这个LOSS希望局部边缘像素点的数量尽可能的接近GT，计算示例图
《论文阅读》Joint Demosaicing and Denoising with Self Guidance相关推荐
- 论文阅读 - Joint Beat and Downbeat Tracking with Recurrent Neural Networks
文章目录 1 概述 2 信号预处理 3 分类神经网络 4 动态贝叶斯网络(HMM) 4.1 原始的bar pointer model 4.2 原始的bar pointer model的缺点 4.3 改 ...
- 【论文阅读笔记】BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translati
BART:去噪序列到序列的预训练自然语言生成.翻译和理解 动力 自监督方法在广泛的NLP任务中取得了显著的成功.最成功的方法是masked language model的变体去噪的自编码器.训练去噪的 ...
- 【论文阅读】Feature Denoising for Improving Adversarial Robustness
阅读由来SCRDet++参考文献[20]https://blog.csdn.net/dujuancao11/article/details/121590324 Feature Denoising fo ...
- 论文阅读： Channel Augmented Joint Learning for Visible-Infrared Recognition
论文阅读: Channel Augmented Joint Learning for Visible-Infrared Recognition code: https://gitee.com/mind ...
- 论文阅读笔记（8）：Structured Sparse Subspace Clustering: A Joint Affinity Learning and Subspace Clustering
论文阅读笔记(8):Structured Sparse Subspace Clustering: A Joint Affinity Learning and Subspace Clustering F ...
- 论文阅读：Practical Deep Raw Image Denoising on Mobile Devices
论文阅读: Practical Deep Raw Image Denoising on Mobile Devices 旷视 2020 ECCV 基于深度学习的降噪方法在近几年得到了大量的研究,这些方法 ...
- 论文阅读笔记——DLT-Net: Joint Detection of Drivable Areas, Lane Lines, and Traffic Objects)
论文阅读笔记--DLT-Net: Joint Detection of Drivable Areas, Lane Lines, and Traffic Objects 论文简介 1 引言 2 DLT- ...
- HLA-Face: Joint High-Low Adaptation for Low Light Face Detection论文阅读笔记
HLA-Face: Joint High-Low Adaptation for Low Light Face Detection 论文阅读笔记 这是去年7月读这篇文章的笔记了,今年由于忘记了,又有需要 ...
- 【论文阅读】Learning Traffic as Images: A Deep Convolutional ... [将交通作为图像学习: 用于大规模交通网络速度预测的深度卷积神经网络]（1）
[论文阅读]Learning Traffic as Images: A Deep Convolutional Neural Network for Large-Scale Transportation ...
- 3D目标检测论文阅读摘要
3D目标检测论文阅读摘要 2D Object Detection 的研究已经非常成熟了,代表作品有RPN系列的FasterRCNN,One Shot系列的YOLOv1-YOLOv3,这里推荐一个2D ...
最新文章
- ssl握手过程和ca证书验证
- 认识python(了解)
- cmd运行java文件_Java基础 前传
- Java 线程池艺术探索
- 移动通信—无线波传播
- FAQ系列 | 几种常见MySQL无法启动案例
- 将字符串1/4转换成0.25 eval（）
- gradle_Gradle
- 序列化和反序列化（八）——Externalizable接口
- 拓端tecdat|r语言聚类分析：k-means和层次聚类
- MATLAB与信号处理
- oracle数据比对md5,MD5SUM的妙用
- Sorry, The number you dialed is power off.
- 什么是“天道左旋、地道右旋”？
- android os x86下载,Android-x86 Lineage OS 14.1-r3下载（2019/10/23官方更新版）
- cad中直径符号不显示_【技巧】大神在CAD、Word里敲出和快速绘图的小秘密！（内附cad快捷键大全）...
- 去哪儿网2015年春季校园招聘技术笔试题
- 一位老兄看 深圳西安北京上海 大众收入与消费
- 关于开源软件License的说明
- 全媒体运营师胡耀文教你：运营框架搭建让1个流量发挥大于4的价值