Total Variation

论文名称：

Understanding Deep Image Representations by Inverting Them, CVPR 2015

Prerequisite：Convolutional Neural Network, Linear Algebra, Integral,

需要熟悉CNN的训练流程，达到可以剖析每一步是干什么用的程度。知道loss function作用，和CNN是怎么encode图像的概念。

==========Motivation==========

这篇文章我没有看完，或者可以说是挑着我最关心的问题看的，就是Total Variation。其他的跟我的研究无关，所以暂且只讲这一个点。

一开始看这篇论文的初衷是因为我看过的前一篇关于Perceptual Loss的文章。其中的loss由三部分组成，perceptual loss，L2 loss 和 total variation。perceptual loss 和L2好理解，可是total variation一笔带过，根本没有细说。后来在我训练的应用中发现这个loss几乎不怎么收敛。所以我希望搞明白从数学层面上这到底是个什么，在做什么事情。这样我就可以根据自己的研究调整参数，甚至如果根本不需要加这个loss可以干脆去掉。

在进行了大量的调研之后，找到了一些有用的东西。首先是Perceptual loss的作者Justin Johnson在他的github上回复了别人的类似疑问，这里。Justin把解释指向本论文的一段说明。但是其实本文也没有细说total variation是个啥，只是在应用的层面上给出了经验性的实验结果。即调整不同的参数对输出图像的影响。

Total Variation(TV)的方程是这样的：

但是在图像中，连续域的积分就变成了像素离散域中求和，所以可以这么算：

也就是说，求每一个像素和横向下一个像素的差的平方，加上纵向下一个像素的差的平方。然后开β/2次根。

文中对β的取值有所描述。当β < 1时，会出现下图左侧的小点点的artifact。

当β > 1时，图像中小点点会被消除，但是代价就是图像的清晰度。

其实，这个效果最先来源于Nonlinear total variation based noise removal algorithms这篇论文。Rubin等人在1990年左右观察到受噪声污染的图像的TV比无噪图像的总变分明显的大[1]。那么最小化TV理论上就可以最小化噪声。至于从数学层面上的意义到底是什么，为什么算偏导数的平方，我也不明白。在这里，视频的发布者对于TV的直观理解有一个相对比较清晰地解释。

也就是说，图片中相邻像素值的差异可以通过降低TV loss来一定程度上解决。比如降噪，对抗checkerboard等等。

Reference：

1，https://blog.csdn.net/tianrolin/article/details/44101197

Total Variation相关推荐

转载：全局拉普拉斯平滑之（1）Strucutre extraction from texture via relative total variation及稀疏矩阵求解...
全局拉普拉斯平滑之(1)Strucutre extraction from texture via relative total variation及稀疏矩阵求解 2018年01月31日 22:04: ...
An efficient augmented Lagrangian method with applications to total variation minimization论文阅读笔记
An efficient augmented Lagrangian method with applications to total variation minimization论文阅读笔记论文信 ...
Infrared and visible image fusion using total variation model（采用全变差模型的红外与可见光图像的融合）
由于研究需要,在非专业学习的基础上对<Infrared and visible image fusion using total variation model>进行了翻译,有翻译不对之处 ...
图像合成与风格转换实战
图像合成与风格转换实战神经式转移 Neural Style Transfer 如果使用社交分享应用程序或者碰巧是个业余摄影师,对过滤器很熟悉.滤镜可以改变照片的颜色样式,使背景更清晰或人的脸更白.然 ...
深度学习在计算机视觉中的应用长篇综述
深度学习在计算机视觉中的应用长篇综述前言 2012年ImageNet比赛,使深度学习在计算机视觉领域在全世界名声大震,由此人工智能的全球大爆发.第一个研究CNN的专家使Yann LeCun,现就职于 ...
联邦学习的隐忧：来自梯度的深度泄露
作者 | Ligeng Zhu and Song Han 编译 | 对外经济贸易大学金融科技实验室头图 | 下载于视觉中国 [编者按]数据交易流通是数据要素市场建立的关键环节.为了在推动数据流动的同 ...
万字长文带你入门 GCN
来源 | 阿泽的学习笔记(ID: aze_learning) Convolutional Neural Network CNN 在图像识别等任务中具有重要作用,主要是因为 CNN 利用了图片在其域中的 ...
基于深度学习的低光照图像增强方法总结（2017-2019）| CSDN博文精选
扫码参与CSDN"原力计划" 作者 | hyk_1996 来源 | CSDN博客精选之前在做光照对于高层视觉任务的影响的相关工作,看了不少基于深度学习的低光照增强(low-lig ...
超全！深度学习在计算机视觉领域的应用一览
作者 | 黄浴,奇点汽车美研中心首席科学家兼总裁转载自知乎简单回顾的话,2006年Geoffrey Hinton的论文点燃了"这把火",现在已经有不少人开始泼"冷水& ...
【GCN】万字长文带你入门 GCN
断断续续写了一个多星期,期间找了很多同学讨论学习,感谢指导过点拨过我的同学们,为了精益求精本着不糊弄别人也不糊弄自己的原则在本文中探讨了很多细节. 当然,还有很多细节没提到,包括总变差(Total V ...

Total Variation

Total Variation相关推荐

最新文章

热门文章