【计算摄影】计算机如何学会自动地进行图像美学增强？
作者&编辑 | 言有三
1 图像美学增强基础
1.1 什么是美学增强
一幅图像要有更好的美感，最基本的要求就是对比度分布合理，饱和度以及色调符合图像主题，本次我们从图像对比度增强和色调增强两个方面来谈论自动地美学增强问题。
图像对比度增强，即增强图像中的有用信息，抑制无用信息，从而改善图像的视觉效果。图像色调增强，即改善图像的色调效果，创造色彩更加丰富以及突出主题的效果。
摄影师，尤其是专业摄影师，基本上都会对拍摄的作品进行后期的图像增强操作，包含亮度、清晰度、饱和度、对比度、色调甚至是内容的调整操作。
上图中展示了 6 组对比图，其中每组的左面是原图，右面是经过图像增强的图，可以看出明显增加了图像的美感。
1.2 美学增强常见数据集
为了研究自动图像增强问题，需要建立相关的数据集，目前有的数据集通过在同样的场景下采用不同的参数配置进行拍摄，适合于静态场景。有的则采用了不同的设备在同一个时间进行拍摄，需要进行视角的匹配，下面我们对其中使用较多的两个数据集进行介绍。
(1) MIT-Adobe FiveK 数据集[1]
这个数据集发布于 2011 年，包含 5000 张单反相机拍摄的 RAW 格式的照片，每一张照片都被 5 个经验丰富的摄影师使用Adobe Lightroom工具进行后期调整，调整内容主要是针对色调。因为该数据集包含了原图和 5 张后期图的成对数据，而且有同一个摄影师的多种后期修图图片，因此它可以被用于某一后期风格的学习。
(2) DPED 数据集[2]
这个数据集发布于 2018 年，采用了 3 个不同的手机和一个数码相机进行拍摄然后进行图片匹配和裁剪。三个手机分别是iPhone 3GS、BlackBerry Passport和Sony Xperia Z，相机则是 Canon 70D DSLR。该数据集覆盖了白天的各种常见光照和天气情况，采集时间持续3 周，都使用了自动拍摄模式。
因为 4 个设备同时进行图像采集，所拍摄出来的图前期不可能完全对齐，因此需要进行后处理对齐，作者们使用了 SIFT 算法对图像进行对齐，最终成对图之间保证不超过 5 个像素的偏差。
除了上述 2 个数据集，很多研究者在提出算法时都会自己采集相关的数据集，大家可以自己关注相关研究。
2 基于深度学习的图像增强
传统的对比度等增强方法包括伽马变换，直方图均衡，Retinex模型等，对参数敏感，而深度学习模型则可以从数据中进行学习，下面我们简单说说其中的核心算法，可以从两个方向来说。
2.1 端到端预测模型
卷积神经网络模型拥有强大的表达能力，被证明可以直接学会图像里的很多全局和局部的操作，包括图像风格迁移、去雾、上色、增加细节等，因此我们可以按照需要学习的类型，准备好相关的成对数据进行学习，这一类就是端到端的预测模型。
Chen Qifeng 等人[3]使用了一个基本的场景聚合模型来验证上述操作的学习，网络结构示意图就是常见Concext Aggregation Network,简称 CAN)，它最初来自于语义分割任务，使用了不同大小的带孔卷积来实现同样大小的卷积核与不同的感受野。
作者们实验了十个常用的图像增强操作。
(1) Rudin-Osher-Fatemi:一种图像复原模型。
(2) TV-L1 image restoration:一种图像复原模型。
(3) L0 smoothing:一种图像平滑模型。
(4) relative total variation:一种通过剥离细节来提取图像结构的操作。
(5) image enhancement by multiscale tone manipulation:一种多尺度进行图像增强。
(6) multiscale detail manipulation based on local Laplacian filtering:基于拉普拉斯的图像编辑操作。
(7) photographic style transfer from a reference image:图像风格迁移操作。
(8) dark-channel dehazing :暗通道去雾操作。
(9) nonlocal dehazing :非局部去雾操作。
(10) pencil drawing :铅笔画风格操作。
所有任务使用的训练数据集都是Adobe MIT 5k，作者们首先用各类方法的官方实现对输入图进行操作，得到成对的训练数据，然后进行有监督的训练。
对于这一类模型，可以从几个方向进行改进，包括：
(1) 使用美学评估模型[4]进行反馈，以改进效果。
(2) 使用 GAN 模型[2]对生成结果的高层感知进行改进。
2.2 基于参数预测的方法
逐像素的回归模型原理简单，但是端到端的方法可解释性不强，容易过拟合，图像增强可以对应到相机中的曝光调整，对比度调整，色调调整等操作，因此研究者们提出了使用深度学习模型直接学习这几种操作的参数幅度，一个代表性的研究如下[5]。
可以看出整个增强过程被分解为一系列的操作，包括曝光度，对比度、色度、伽马校正等调整，因此模型需要搜索一系列的操作对输入图进行调整，每个操作过程对应于强化学习里的一个决策过程，通过对这些决策过程的结果进行惩罚就可以实现训练，其奖励回报就是美学分数。每一步调整的结果可以通过梯度的回传给整个网络学习，从而改变每一步的调整参数。
具体学习过程包含两个策略网络(policy network)，一个判别模型，一个价值网络。其中两个策略网络分别将图像映射成某一类操作的概率和幅度，这四个网络都使用了同样的结构，输入图像大小为 64×64，包含四个卷积层和一个全连接层。
总的来说，该相机参数学习模型有以下三个优点。
(1) 首先这是一个端到端的学习各类变换操作幅度的方法，可以处理任意大小的图片。
(2) 使用了强化学习来给出每一步调色所做的操作，这样对图像的处理就不再是一个黑箱，从而方便人们对模型处理过程的理解，还可以参照模型的处理步骤和参数进行后期操作的学习。
(3) 不需要成对的图像数据来指导模型的学习，因为学习的都是成熟的图像处理操作的幅度，所以基本上不会产生非自然的瑕疵。
另外，还可以直接学习一个综合性质的滤波操作，如深度双边滤波模型[6]。
基于参数学习的模型主要问题是计算效率太低，模型训练过程复杂。
[1] Bychkovsky V, Paris S, Chan E, et al. Learning photographic global tonal adjustment with a database of input/output image pairs[C]//CVPR 2011. IEEE, 2011: 97-104.
[2] Ignatov A, Kobyshev N, Timofte R, et al. DSLR-quality photos on mobile devices with deep convolutional networks[C]//Proceedings of the IEEE International Conference on DSLR-quality photos on mobileComputer Vision. 2017: 3277-3285.
[3] Chen Q, Xu J, Koltun V. Fast image processing with fully-convolutional networks[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 2497-2506.
[4] Talebi H, Milanfar P. Learned perceptual image enhancement[C]//2018 IEEE International Conference on Computational Photography (ICCP). IEEE, 2018: 1-13.
[5] Hu Y, He H, Xu C, et al. Exposure: A white-box photo post-processing framework[J]. ACM Transactions on Graphics (TOG), 2018, 37(2): 26.
[6] Gharbi M, Chen J, Barron J T, et al. Deep bilateral learning for real-timeimage enhancement[J]. ACM Transactions on Graphics (TOG), 2017, 36(4): 118.
总结
与美学评估问题相似，图像增强是一个比较主观的问题，没有一对一的标准答案，甚至因为人群的审美而产生非常大的差异，这是一个目前还没有取得非常好的工业级应用的领域。
【计算摄影】计算机如何学会自动地进行图像美学增强？相关推荐
- 如何对计算属性进行修改_「计算摄影」计算机如何学会自动地进行图像美学增强？...
大家好,这是专栏<计算摄影>的第四篇文章,这一个专栏来自于计算机科学与摄影艺术的交叉学科.今天我们讨论的问题是如何学会做图像增强. 作者&编辑 | 言有三 1 图像美学增强基础 1 ...
- 计算机如何学会自动地进行图像美学增强？
1 图像美学增强基础 1.1 什么是美学增强 一幅图像要有更好的美感,最基本的要求就是对比度分布合理,饱和度以及色调符合图像主题,本次我们从图像对比度增强和色调增强两个方面来谈论自动地美学增强问题. ...
- 计算摄影 | 计算机如何学会自动裁剪图片（自动构图）？
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 1 自动构图基础 1.1 什么是构图 自动裁剪用摄影的话语来说,就 ...
- 计算摄影 | 计算机如何学会欣赏照片的美感？
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 1 图像美学基础 1.1 美学的定义 牛津高阶英语词典将美学定义为 ...
- 【计算摄影】计算机如何学会自动裁剪图片（自动构图）？
大家好,这是专栏<计算摄影>的第三篇文章,这一个专栏来自于计算机科学与摄影艺术的交叉学科.今天我们讨论的问题是图像的自动裁剪/自动构图问题. 作者&编辑 | 言有三 1 自动构图基 ...
- 计算机如何学会自动构图？
本文摘自言有三新书,计算机视觉与摄影的交叉方向,名为<深度学习之摄影图像处理:核心算法与案例精粹>,主题聚焦于计算摄影方向. 文末有送书福利!!! 1 自动构图基础 1.1 什么是构图 自 ...
- 【计算摄影】浅析多重曝光与自动图像融合技术
大家好,这是专栏<计算摄影>的第六篇文章,这一个专栏来自于计算机科学与摄影艺术的交叉学科. 作者&编辑 | 言有三 多重曝光(multiple exposure)是摄影中一种采用两 ...
- 【计算摄影】图像与视频超分辨，深度学习核心技术与展望
大家好,这是专栏<计算摄影>的第七篇文章,这一个专栏来自于计算机科学与摄影艺术的交叉学科. 作者&编辑 | 言有三 图像超分,就是要将低分辨率的图像恢复为高分辨率的图像,它在日常的 ...
- 【完结】重磅！深度学习计算摄影的12篇干货文章
文/编辑 | 言有三 计算摄影是指使用数字计算而不是光学处理的数字图像捕获和处理技术.计算摄影可以提高照相机的能力,或者引入基于胶片的摄影根本不可能的特征,或者降低照相机元件的成本或尺寸(本段来自维基 ...
最新文章
- （转） 使用Speech SDK 5.1文字转音频
- 智源论坛报名 | 智能信息检索与挖掘报告会（9月17日）
- （已解决）pycharm调试报错-UnicodeDecodeError：‘utf-8‘ codec can‘t decode byte 0xe8 in position 1023
- 今天意外和身份证结缘
- 操作系统的进程调度简析
- Tarjan算法_LCA
- 台阶问题---动态规划算法
- nginx php post限制,nginx + php 跨域问题,GET可以跨域成功,POST失败
- VS2008 SP1补丁
- android程序获取WIFI的IP地址和MAC地址
- Docker 存储选型，这些年我们遇到的坑
- C++ 程序员如何迎接 Windows 10 的到来
- Linux总结----PS命令
- 安装cude11.2.exe报错：Could not create file “C: )Users\xxx\ AppData \Local\ Temp \CUDA\GFExperience
- ffmpeg ts与mp4互相转换
- module_platform_driver()
- 投资 2 -- 新股民必须树立正确的价值观
- 面积曲线AUC（area under curve）
- 计算机工作原理【操作系统和进程】
- C++ endl 详解
热门文章
- fetch-pack: unexpected disconnect while reading sideband packet fatal: early EOF fatal: fetch-pack:
- pytorch model.train() 开启batchnormalize 和 dropout model.eval() 则会关闭dropout
- 国外AI教学网红网站
- 搭建免费ftp服务，视频演示
- 4年级计算机 设计贺卡教案,四年级上册信息技术《小贝的贺卡》教学设计
- 突破帧率天花板，超速全时视觉感知芯片重塑机器视觉技术体系
- 5月书讯：阳光穿过银杏树
- 实用Common Lisp编程——函数
- 超越梦想，追求卓越——图灵五周年生日聚会圆满成功
- 在Python3.4中实现opencv3.1.0的安装配置