Discrete Cosine Transform Network for Guided Depth Map Super-Resolution

论文名字：Discrete Cosine Transform Network for Guided Depth Map Super-Resolution CVPR2022
论文下载地址：https://arxiv.org/pdf/2104.06977
论文代码地址：https://github.com/Zhaozixiang1228/GDSR-DCTNet

引导深度超分辨率（GDSR）：存在同一场景的高分辨率（HR）RGB图像和低分辨率深度图像，重建高分辨率深度图像。

整体网络框架如下图所示：

先介绍一些符号代表的内容：

HR RGB表示为：RRR
HR RGB的亮度通道：R~\widetilde{R}R
LR depth表示为：L~\widetilde{L}L
LR depth上采样：LLL
HR depth表示为：HHH

我们可以通过最小化下面的能量方程来获取HHH

L(⋅)\mathcal{L}(\cdot)L(⋅)代表拉普拉斯过滤器，W(⋅)\mathcal{W}(\cdot)W(⋅)代表有用边缘的选择，∘\circ∘代表元素乘法，上式导数求0可得

利用2D泊松等式的求解方法（参见），可得：

上述方法存在一些问题：
1.边缘选择需要确定（这个用网络学）
2.超参数λ\lambdaλ需要手动设置，影响模型的灵活性（好奇）
3.优化单通道很难建立跨模态内部特征相关性（？？？）

下面逐个建设框架中的四个模块

SCFE（半耦合特征提取模块）：因为RGB的强度边缘和深度图像的深部不连续性存在联系，因此两者有共同的信息，但同时两者又有自己独特的信息，所以提出该模块（可以看作是encoder）

有一部分kernel是公用的，一部分kernel是单独使用。

GESA（引导边缘空间注意模块）：问题1中的边缘就由该模块解决

DCT（离散余弦变换）：作为一个模块插入，增加灵活性（？？）

DR（深度图重建模块）：将处理好的特诊重建为深度图（可以看作是decoder）

损失函数使用了L2-loss。

实验结果：

验证SCFE模块中C和P对网络的影响，指标为RMSE：

验证边缘空间注意力模块和可学习权重λ\lambdaλ

定性和定量比较，一下图片为误差图，越暗越好

参数量的比较

消融实验：

1.半耦合模块变成完全独立模块
2.半耦合模块变成完全共享模块
3.移除DCT模块，使用CNN代替
4.移除可学习参数，用常数代替
5.半耦合模块中没有跳跃连接层

Discrete Cosine Transform Network for Guided Depth Map Super-Resolution相关推荐

离散余弦变换 - Discrete Cosine Transform
离散余弦变换(DCT)最近可能要用,不过之前上课学的内容有点忘记了,这里复习一下. 离散余弦变换的定义与傅里叶变换的思想相似,离散余弦变换(Discrete CosineTransfor ...
离散余弦变换（Discrete Cosine Transform）
DCT变换和FFT变换都属于变换压缩方法(TransformCompression),变换压缩的一个特点是将从前密度均匀的信息分布变换为密度不同的信息分布.在图像中,低频部分的信息量要大于高频部分的信 ...
java dct变换_Discrete Cosine Transform [DCT] (离散余弦变换)
Discrete Cosine Transform [DCT] (离散余弦变换) 描述:Binarizer是一个Transformer. 离散余弦变换是与傅里叶变换相关的一种变换,它类似于离散傅立叶变 ...
学习笔记-Depth Map Prediction from a Single Image using a Multi-Scale Deep Network
Depth Map Prediction from a Single Image using a Multi-Scale Deep Network 在这篇了论文中,我们提出了一种估计单张图片深度信息的 ...
【图像处理】图像离散小波变换（Discrete Wavelet Transform）及python代码实现
Motivation 看到有论文用到了图像的Haar Discrete Wavelet Transform(HDWT),前面也听老师提到过用小波变换做去噪.超分的文章,于是借着这个机会好好学习一下. ...
Python+OpenCV：立体图像深度图（Depth Map from Stereo Images）
Python+OpenCV:立体图像深度图(Depth Map from Stereo Images) 理论 If we have two images of same scene, we can g ...
Deep Network with Stochastic Depth（阅读笔记）一种随机深度的正则化方法
题记: 最近Swin Transformer在计算机视觉上大放异彩,成为许多视觉榜单上的霸主,然而传统的Conv卷积如Resnet就真的不行了吗? 一些学者就传统的卷积网络进行了深入的研究,并通过细致 ...
【小波变换】离散小波分解Discrete Wavelet Transform
此篇博客记录自学离散小波分解的相关内容,以后若有更多理解在此篇更新. 一. 为什么需要离散小波分解除离散变换外,还有连续小波分解,通过改变分析窗口大小,在时域上移动窗口和基信号相乘,最后在全时 ...
16位深度图（depth map）伪彩色化（pseudo colorize）的代码
本文记录将 16 位的深度图伪彩色化的代码. 注意,DepthMapPseudoColorize 函数第一个参数可以是图像的 data,也可以是 path. 在函数内部都可以. 在第二篇参考文献中 ...
Deep Ordinal Regression Network for Monocular Depth Estimation 单目深度估计,论文阅读,DORN；视频笔记
tags: 单目深度估计,论文阅读,DORN 原始论文是: Deep Ordinal Regression Network for Monocular Depth Estimation Huan Fu ...

Discrete Cosine Transform Network for Guided Depth Map Super-Resolution

Discrete Cosine Transform Network for Guided Depth Map Super-Resolution相关推荐

最新文章

热门文章