Dense Deep Unfolding Network with 3D-CNN Prior for Snapshot Compressive Imaging

源论文+源代码：Search for Dense Deep Unfolding Network with 3D-CNN Prior for Snapshot Compressive Imaging | Papers With Codehttps://paperswithcode.com/search?q_meta=&q_type=&q=Dense+Deep+Unfolding+Network+with+3D-CNN+Prior+for+Snapshot+Compressive+Imaging

目录

Abstract

1 研究背景

论文创新点

2.网络层

2.1 DFMA网络（创新点）

2.2 3D卷积核用于SCI（创新点）

3 数学模型

3.1优化过程

3.2子问题求解

3.3迭代步骤

4 实验分析

5 总结

Abstract

快照压缩成像是利用二维（2D）的检测器去捕捉三维以上（HD）的物体。视频压缩感知被广泛地应用在成像系统上，其目的是利用二维传感器来捕捉诸如视频亦或是光谱等高维信号。通过在成像系统中引入额外的硬件部件，高维信号被压缩成二维信号，随后运用重建算法完成二维信号到高维信号的重建，通过此类硬件加软件的形式，能够减少数据的存储空间和传输带宽。

SCI已用于高光谱成像，视频，全息术，断层扫描，焦深成像，偏振成像，显微镜等。尽管对硬件进行了十多年的研究，但直到最近才得出理论保证。受深度学习的启发，还开发了各种深度神经网络来重建光谱SCI和视频SCI中的HD数据立方体。

1 研究背景

快照压缩成像主要应用在两个场景：连续视频和光谱通道上。尽管高速视频和高光谱图像的能够进行压缩并且复原结果已经被证明，但是重建质量差阻碍了SCI的广泛应用最复杂的部分在于从测量帧恢复成原本的视频。传统的SCI是通过先验知识来调整相关参数，虽然可解释性强但是计算过于复杂，时间成本较高。

本篇论文提出端对端的展开的网络来解决这个问题，不仅在解压速度得以提高，并且在解压精度上也得以提高。

论文创新点

（1）视频从视觉上和质量上得以提高

（2）首次使用3D-CNN来对SCI进行先验处理

（3）提出了利用DFM（Dense Feature Map）来提高视频精度，并且提出了DFMA（Dense Feature Map Adaption）用来在不同的阶段之间传递有效的信息

2.网络层

网络中卷积层主要是基于U-NET设计的，主要是学习视频帧的残余特征。

2.1 DFMA网络（创新点）

2.2 3D卷积核用于SCI（创新点）

3 数学模型

3.1优化过程：

3.2子问题求解

主要是通过HQS（Half Quadratic Splitting，半二次方分裂）和ADMM求解

3.3迭代步骤：

主要是通过迭代三个参数来得到结果

4 实验分析

实验部分只做了test部分，训练部分硬件跟不上。结果几乎与文章一致。

5 总结

受半二次分裂 (HQS) 算法的启发，论文提出了一种新颖的密集深度展开网络，该网络具有 3D-CNN 先验，用于快照压缩成像。融合了基于模型的方法和基于学习的方法的优点，此方法具有很强的可解释性和高质量的重建结果。

为了增强利用时空相关性的能力，作者先用 3D-CNN 组装了一个深度网络。为了减少信息丢失，提出了密集特征图（DFM）融合的策略，并且在这个设计了密集特征图自适应（DFMA）模块，使信息在相位之间选择性地传输。