IDR：通过迭代数据细化的自我监督图像去噪
本文是CVPR2022的新论文，因与我的研究方向不是紧密相关，所以不看前两节，直接上方法！
顶行：在不同时期创建的训练目标。它们已在我们的方法中逐步完善。
底行：与以前的作品比较：DBSN (ECCV 2020)、Noisier2Noise (CVPR 2020)。
方法
在本节中，作者首先介绍了噪声数据集的创建，在此基础上，对使用噪声数据集进行学习去噪进行了研究，并实证验证了两个发现。然后，作者展示了他的自我监督去噪框架：迭代数据细化（IDR）。为了加速这种迭代方法的训练过程，作者进一步引入了一个快速版本的 IDR 以减少训练时间，同时获得与 IDR 完整版本相似的性能。
1. 学习去噪的数据偏差试点研究（Pilot Study on Data Bias of Learning Denoising）
对于使用已知噪声模型训练去噪模型，一种典型的方法 [37] 是通过将噪声 n 添加到地面真实干净图像 y 上来创建合成噪声图像，表示为 y + n 并用作网络输入。我们将此类合成训练数据命名为噪声-清洁数据集，用于学习映射 (y + n) → y。
然而，真实的干净图像 y 通常很难获得。另一种似是而非的方法是将噪声 n 添加到实际的噪声图像 x 上，以创建噪声更均匀的图像 x + n，其中较晚的噪声 x + n 被视为输入，而前噪声图像 x 被用作学习目标。我们将此类训练数据称为噪声更大的数据集（noisier-noisy dataset）。
虽然后面的数据集更容易获得，但上述两类数据集之间不可避免地存在数据偏差，并且在后面的 noisier-noisy 数据集上训练的去噪网络不能很好地处理实际的噪声图像 x。我们进行如下试点研究，并凭经验验证两个重要发现。形式上，数据集表示为：
这里，是一张干净的图像（实际上很难获得），
=
+
是其对应的噪声图像，
是噪声模型产生的随机噪声，
+
表示应用采样噪声
到实际嘈杂的图像
以创建合成的但更嘈杂的图像。为简单起见，我们分别用 {
+
,
} 和 {
+
,
} 表示 {(
+
,
)}
和 {(
+
,
)}
。
为了分析使用噪声较大的数据集训练网络的数据偏差，我们在噪声干净和噪声较大的数据集上从头开始训练 U-Net，并研究三种代表性噪声类型：原始图像、高斯噪声和相关噪声，具有各种噪音水平。它们涵盖了常见的噪声类型，即信号相关/信号无关噪声和逐点/相关噪声。噪声模型的更多设置可以在图 2 的标题中找到。为了测试，我们从训练噪声水平中均匀地采样 4 个离散噪声水平，并在实际的噪声-干净图像对上测试去噪模型，这些图像对具有真实性。
如图 2 所示，对各种噪声类型和噪声水平的训练显示出一致的结果，这导致了以下两个发现：
- 在相同的噪声模型中，用噪声较大的数据集训练的去噪网络可以对实际的噪声图像（图 2 中的红色与蓝色的点）进行去噪。
- 使用相同的噪声模型，在偏差较小的数据集上向理想的噪声-干净数据集进行训练有助于去噪网络实现更好的去噪性能（表 1）。
对于第一个发现，使用噪声更大数据集（图 2 中的红点）训练的模型在所有噪声类型上始终显示比没有任何去噪的实际噪声图像（图 2 中的蓝点）更好的 PSNR，这表明该模型即使在噪声和噪声-干净的数据集之间存在数据偏差，也可以在一定程度上对实际噪声图像 {xi} 进行去噪。最近，基于单图像的和基于批处理的方法都对高斯噪声得出了类似的结论，但它们只研究单个噪声水平。我们的调查扩大了他们的观察范围，涵盖了更广泛的噪音类型和噪音水平。
对于第二个发现，我们首先删除了噪声较大的数据集中的所有数据偏差，它变成了一个噪声-干净的数据集（零数据偏差）。基于它训练的模型被认为在所有三种噪声类型和不同的噪声水平上都具有最佳性能（图 2 中的绿点）。然后我们综合不同类型和强度的数据偏差来进一步验证第二个发现。具体来说，我们应用不同级别的高斯噪声或高斯模糊（在表 1 中表示为 σ）来污染干净的图像 y 以创建有偏差的目标（表示为 和
）。将上述具有不同噪声水平的相同三个噪声模型（高斯、原始、相关）进一步添加到偏置目标中，以创建噪声图像（
+ n 和
+ n）作为网络训练的输入。使用不同强度的有偏数据集训练单独的去噪网络，并在同一噪声模型的实际噪声图像上进行测试。表 1 中的结果表明，在具有较小数据偏差（表 1 中较小的 σ）的数据集上训练的去噪网络显示出更好的去噪性能，第二个发现对于两种类型的数据偏差、三种不同的噪声类型和三种噪声级别是一致的（3 × 2 × 3 = 18 个单独的去噪网络被训练和评估）。
2. 迭代数据细化
第 3.1 节中的两个发现启发我们迭代地减少嘈杂噪声数据集和理想噪声干净数据集之间的数据偏差。逐渐创建偏差较小的数据集并对其进行训练会带来有希望的去噪性能。
我们首先基于初始噪声数据集 { +
,
}训练模型
。根据我们在 3.1 节中的发现 1，它可以在一定程度上对实际的噪声图像 {
} 进行去噪。因此，我们可以用它对噪声图像进行去噪，得到一组新的精炼训练数据集：
新构建的数据集与原始噪声较大的数据集 { +
,
}共享相同数量的图像和内容。然而，这个新数据集对噪声干净数据集的数据偏差较小，因为我们训练的去噪模型
减少了目标的 L2 距离（根据我们在第 3.1 节中的发现 1）。
然后，使用上面的偏差较小的数据集构造，我们可以在下一轮从头开始训练一个新的去噪模型
由于新数据集 { +
,
} 和理想的噪声干净数据集 {
+
,
} 之间的数据偏差得到缓解，根据我们在第 3.1 节中的发现 2，训练模型与在第一轮噪声较大的数据集上训练的
相比，
可以更好地泛化到实际噪声图像 {
}。
基于改进的模型 ，上述过程可以通过细化训练目标和训练更好的模型来迭代交替执行，如图 3 所示。从模型的角度来看，一旦我们有了一个去噪模型
，一个更好的模型
可以使用构建的数据集进行训练：
先前的模型 有助于缩小新的噪声较大的数据集 {
+
,
} 和理想的噪声干净的数据集 {
+
,
}之间的差距。在下一轮训练中，新创建的噪声数据集的改进使得我们新训练的模型
的推进。另一方面，从目标的角度来看，中间去噪模型会产生一系列中间细化目标 {
}（对于 m = 0, 1, ...）。如图 1 所示，训练目标上的噪声被去除，更多的纹理被逐步恢复。此外，与传统的迭代方法多次对一张噪声图像去噪并导致大量纹理丢失不同，我们的方法在推理过程中改进了训练数据集并对噪声图像进行了一次去噪。
3. 快速迭代数据细化
虽然上述迭代数据细化不会增加推理（预测）的时间成本，但其训练时间与提议的自监督数据细化的轮数成正比。为了减轻沉重的训练时间成本，我们进一步提出了一种快速近似训练方案。整个算法如算法 1 所示。
我们在两个方面近似我们的完整方法。
首先，我们引入一个epoch的训练，它在每个epoch之后执行一轮数据细化。具体来说，对于每个新构建的数据集，我们只用它来训练我们的模型一个epoch，而不是像以前那样训练它直到完全收敛。在下一个 epoch，我们基于新构建的数据集训练去噪网络。我们牺牲了完整模型优化所需的时间，但增加了数据细化的迭代轮次。我们引入的开销是在每个训练时期之前产生细化的目标。它花费的总训练时间不到 5%。结果，总训练时间减少到几乎与只训练一轮去噪模型相同。
其次，在每个 epoch 对新数据集进行训练时，我们的模型由前一个 epoch 的模型初始化，而不是从头开始。这种累积训练策略有助于去噪网络与所提出的快速数据细化方案更快地收敛，并确保最终去噪模型在整个训练过程中不断优化。近似算法也快速收敛并保持与我们的完整算法相似的性能。
实验
实验我就是大体扫了一下，效果的SSIM大概在0.9上下对不同数据集有所不同。感兴趣的读者可以自行阅读。
IDR：通过迭代数据细化的自我监督图像去噪相关推荐
- 知识图谱-生物信息学-医学顶刊论文(Briefings in Bioinformatics-2021)：MPG：一种有效的自我监督框架，用于学习药物分子的全局表示以进行药物发现
6.(2021.9.14)Briefings-MPG:一种有效的自我监督框架,用于学习药物分子的全局表示以进行药物发现 论文标题:An effective self-supervised framew ...
- 利用三级结构进行蛋白质嵌入的自我监督预训练
文章目录 一.摘 要 二.Introduction 三. Related Work 3.1 蛋白质三维结构依赖的任务 3.2 自我监督学习 四. Methods 4.1 蛋白质结构的SE(3)-不变表 ...
- Dense Contrastive Learning for Self-Supervised Visual Pre-Training(基于密集对比学习的自我监督视觉预训练)2021
最前面是论文翻译,中间是背景+问题+方法步骤+实验过程,最后是文中的部分专业名词介绍(水平线分开,翻译word文件可以找我要,能力有限,部分翻译可能不太准确) 摘要: 迄今为止,大多数现有的自监督学习 ...
- 亚马逊采摘挑战赛APC:6D姿态估计的多视图自我监督深度学习6D Pose Estimation in the Amazon Picking Challenge—2017（笔记）
Multi-view Self-supervised Deep Learning for 6D Pose Estimation in the Amazon Picking Challenge-2017 ...
- 【NLP】文献翻译5——用自我监督的多任务学习学习特定模式的表征，用于多模态情感分析
Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multimodal S ...
- Grasp2Vec：通过自我监督式抓取学习物体表征
从很小的时候开始,人类就能够识别最喜欢的物品,并将它们捡起来,尽管从未有人明确教过他们这样做.认知发展研究表明,与周围物体互动的能力在培养物体感知和操纵能力(例如有目的的抓取)的过程中起着至关重要的作 ...
- 基于元学习和自我监督的图像翻译预训练
提示:系读文章的笔记,侵删. 文章目录 前言 一.摘要 二.结论与展望 1.结论:新的小样本多任务图像到图像的转换 2.展望:提高性能和稳定性 三.介绍 四. 背景和相关工作 1 数据集(风暴事件图像 ...
- SSKD：自我监督知识蒸馏
动机:希望探索一种更通用和模型不可知的方法,从预训练的教师模型中提取"更丰富的隐藏知识".看似不同的自我监督任务可以作为一个简单但强大的解决方案. 简介:利用具有选择性传输的噪声自 ...
- StructDepth:利用结构规律进行自我监督的室内深度估计StructDepth: Leveraging the structural regularities for self-supervis
StructDepth: Leveraging the structural regularities for self-supervis StructDepth:利用结构规律进行自我监督的室内深度估 ...
最新文章
- python爬取图片的库_16-python爬虫之Requests库爬取海量图片
- 【NGN学习笔记】4 软交换中的协议2—Megaco/H.248
- .net随笔-vb.net 系统计时器
- static和不完全类型的一个例子
- python实现组合问题_python3 最基本且简单的实现组合设计模式
- linux卡死在选择内核界面,求助：am3352 linux内核启动时卡在 Starting kernel ...
- mingw64+msys2下使用cmake问题
- 在改善人类生活的路上，CV能做的还有很多！
- python--DenyHttp项目（1）--socket编程：客户端与服务器端
- mysql添加 分隔_分割字符串并插入表---mysql
- 9.3. where 优化
- Web 开发的 JavaScript 框架资料收集（15款）
- caxa线切割怎样画链轮,收藏：Autocad实战教程-线切割画链轮
- 洛谷P3356 火星探险问题(费用流)
- 链家二手房采集数据分析
- 初识C语言：了解基础指针
- 三维建模之太空战舰——我们的征途是星辰大海！
- 软件工程（一）------软件生存周期
- 业务团队为何要实施CRM系统？
- 信息系统项目管理师论文范文：整体管理篇