图像修复-基本问题和经典方法

2024-04-23 06:25:47

本文为通用视觉框架OpenMMLab系列课程第七讲底层视觉（下）-图像修复的记录。

加入GAN损失之后，细节会逼真和清晰一点。

Coarse NetWork

常规操作

输入：待修补图像 + mask（标注待修复区域）
输出：粗修复结果
DilateConv：增大感受野（毕竟已知区域可能距离很远，而修补只能从已知区域去获取信息，与分割检测等任务不同的是，图像修复位置本身是没语义信息的）
其他：
镜像padding
remove BN（WGAN-GP中就移除了BN）
ELU替换ReLu
clip the output filter values instead of using tanh or sigmoid functions.（？指代哪部分，激活函数用ELU？）
GAN训练部分，分离global部分和local部分

Spatially discounted reconstruction loss

空间权重衰减的loss：在缺失区域，“合理”的修补结果有很多种，如果只用ground truth做为唯一的衡量标准是不合理的。
从待修复区域的边缘向中心区域看，离边缘越远，其"合理"的情况会越多。而边缘部分和已知区域相连着，其纹理颜色等受已知区域限制更大，因此其可能情况会更少。
因此给边缘部分的loss更大的权重，而离边缘越远，其权重衰减越厉害。

注：反卷积后重叠的部分求均值。这部分就是对粗生成的区域关联已知区域，还是找和前景最相似的背景区域，然后用背景区域来辅助refine生成。
ForeGround即生成区域，将已知区域（background）的feature map划分为一个个小区域如（3 x 3）就得到上图中那橙色的长条，用这些小区域分别依次与foreground的每个部分(3 x 3)求cosine距离。分别找到与前景每个小区域最相似的背景小区域。随后依次用这些小的background做为deconvolutional filters去refine，结果重叠的部分求均值。

补充：部分卷积 Partial Convolutional（PConv）
部分卷积将卷积分为了输入图片的卷积和输入掩码mask的卷积。之前的论文都是只在第一层使用mask,mask也不会得到跟新，本文的partial convolutions，每次都使用跟新后的mask，随着网络层数的增加，mask输出m’中为0的像素越来越少，输出的结果x’中有效区域的面积越来越大，mask对整体loss的影响会越来越小（如上图所示，表示了不同层的mask输出）。

图像修复-基本问题和经典方法相关推荐

图像修复图像补全_图像修复简介
图像修复图像补全 In practical applications, images are often corroded by noise. These noises are dust or wa ...
苏黎世华人博士提出模型SwinIR，只用33%的参数量就碾压图像修复领域sota
来源:新智元 [导读]参数量和模型的性能有绝对关系吗?苏黎世华人博士提出SwinIR模型,实验结果告诉你,越小的模型还可能更强!SwinIR使用Transformer力压CNN,又在图像修复领域屠榜, ...
【图像修复】基于matlab深度信息图像修复【含Matlab源码 2299期】
⛄一.深度信息图像修复简介 0 引言图像修复是指对待修复图像中缺损的部分,利用已有的图像信息对缺损区域进行修复,是计算机图像和视觉中的研究热点之一.在图像修复领域,通常采用的是基于块的纹理合成的修复 ...
图像修复中的方法--AI智能.
[编者按]近些年,基于深度学习的发展,计算机视觉在人工智能和深度学习的大背景下方兴未艾,与此同时,当越来越多的应用场景被挖掘出来时,也意味着计算机视觉的发展前景将无比广阔,其中图像处理技术就是最热门的 ...
图形处理-几种图像修复方法
在实际应用中,图像经常被噪声腐蚀.这些噪音是镜头上的灰尘或水滴,或者是旧照片的刮擦,或者是人为绘制的图像,或者图像的一部分已损坏.文献中有两种主要的图像恢复方法: 基于PDE的方法的目的是将已知区域中 ...
无需在数据集上学习和预训练，这种图像修复新方法效果惊人 | 论文
林鳞编译自 Github 量子位出品 | 公众号 QbitAI Reddit上又炸了,原因是一个无需在数据集上学习和预训练就可以超分辨率.修补和去噪的方法:Deep image prior. 帖子 ...
文献阅读笔记--深度学习图像修复方法综述
1.基本信息: 深度学习图像修复方法综述强振平,何丽波,陈旭,徐丹 2018-10 中国图像图形学报 2.核心内容: (1)基于深度学习的图像修复理论及其发展现状的综述,所使用的方法是对基于深度学习 ...
图像修复方法总结以及深度学习的论文汇总（更新中。。。）
1.图像修复总结图像修复(Image inpainting or Image complete )的目的是在给定一个mask的情况下,填充缺失区域的像素,使其整体达到纹理和结构一致性,或者语义和视觉 ...
AIGC：Stable Diffusion(一项普通人就能实现的AI前沿科技)的简介、Stable Diffusion2.0的改进、安装、使用方法(文本到图像/图像修改/超分辨率/图像修复)之详细攻略
AIGC:Stable Diffusion(一项普通人就能实现的AI前沿科技)的简介.Stable Diffusion2.0的改进.安装.使用方法(文本到图像/图像修改/超分辨率/图像修复)之详细攻略 ...

最新文章

热门文章