计算摄影——自动构图
这一章主要讲一下构图的基本概念、应用场景、常用数据集和一些方法。
什么是构图
我们所说的构图,简单来说就是指镜头的取景范围内,对镜头中所包含的所有元素进行取舍和布局,起到突出主题,交代背景,刻画人物情感,保证图像美感的作用。常见的构图方式主要有:黄金分割构图、三分法构图、居中法构图、引导线构图、三角形构图、曲线构图、重复法构图等。如下图则是三分法构图的示例:
构图的应用场景
自动构图除了在图片修图上的应用之外,还可以用在拍摄时进行智能推荐构图,指导拍摄者进行前后或者左右的移动,这叫做构图推荐;另外在一些场景中需要将图片放到一个尺寸与其不匹配的地方,这就要求要保留图像的原始重要信息以及目标比例等,这叫做构图重匹配,缩略图生成等。
自动构图的方法
自动构图这个任务,常见的方法包括基于构图准则的构图方法、基于显著图的构图方法、基于美学的构图方法等。
1、基于构图准则的构图方法
由于专业摄影中构图有一些构图准则,因此也就引申出了基于构图准则的构图方法,该方法的关键在于如何进行量化,比较常见的是三分法构图,通过判定当前拍摄场景的主体距离三分线四个顶点的距离大小,取四个顶点中距离最短的那个距离作为衡量指标,在不同构图方式中,选择最短距离最小的构图则为最优。
还有一些其他的构图准则,但是通常比较难去定量的评估,而且对于不同的图像效果也不同,因此应用较少。
2、基于显著图的构图方法
由于人眼在观察一个场景时,会自动的对感兴趣的区域进行处理而选择性的忽略不感兴趣的区域,这个区域就叫做显著性区域,在构图时,我们也可以应用这特点,基于显著性目标检测的结果来构图。
基于显著图的构图方法,就是研究如何用最小的裁剪窗口使得注意力总和最大化,注意力总和最大可以定义为图像中所有像素值的和,他是图中的有效信息。
这个方案可以得到最紧凑的保留目标信息的裁剪结果,可以用于缩略图的生成,但是却缺少对于构图准则和美学质量的考量,可能导致裁剪出来的图像不太美观。
3、基于美学的研究方法
基于美学的研究方法更加符合摄影师构图的原理,它会裁剪出美学质量分数更高的区域。一种比较直观的方案,就是对裁剪的框进行美学评估,取美学评分更高的裁剪框就可以了,那么问题就在于,如何快速的找到这个框。
暴力搜索是一种方案,但是其计算量太高,并不能实际应用,因此借鉴上面方案的思想,我们可以基于显著图预处理的方法,来缩小裁剪框查找的范围。首先训练一个显著目标检测网络,使用它可以得到显著目标区域的初始化框,在它的附近,就可以根据不同大小和比例得到一系列候选的裁剪框,然后用美学评分模块进行评分,如下图:
除了基于显著图预处理的方案之外,还可以使用基于增强学习的方案,比如A2RL框架,可以更加高效的搜索裁剪框,如下图:
算法总体框架如下:
先把剪裁的图片进行5层的卷积,然后经过一个全连接层输出一个向量作为Local Feature,并合并上对原图的卷积的结果最为RL算法的输入o_t。其中即时的回报通过把Local Feature 放入预先训练好的网络VFN来获得。因为算法采用的是Actor-Critic框架,所以输出分为两个部分,一个是由Actor输出的action,另一个是由critic输出的对该action的评价。
构图相关的数据集
CUHK Cropping数据集:由经验丰富的摄影师手动裁剪,共950张图像,覆盖了动物、建筑、人物、风景、夜景、植物、静物,裁剪参数包括裁剪框的左上角和右下角的坐标,每一张图像由三个摄影师进行标注。
Flickr Cropping数据集:共包括1705张图像,由摄影爱好者进行裁剪,然后由标注人员进行选择。
CPCD数据集:共包括10798张图像,原图来自AVA、COCO等数据集,每张图生成24个裁剪结果,然后由6个标注人员进行选择,标注出相对美感分数。
参考链接:
A2-RL: Aesthetics Aware Reinforcement Learning for Image Cropping Debang_星如雨グッ!(๑•̀ㅂ•́)و✧的博客-CSDN博客
计算摄影 | 计算机如何学会自动裁剪图片(自动构图)?_小白学视觉的博客-CSDN博客
书籍:《深度学习之摄影图像处理》
计算摄影——自动构图相关推荐
- 计算摄影 | 计算机如何学会自动裁剪图片(自动构图)?
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 1 自动构图基础 1.1 什么是构图 自动裁剪用摄影的话语来说,就 ...
- 【计算摄影】计算机如何学会自动裁剪图片(自动构图)?
大家好,这是专栏<计算摄影>的第三篇文章,这一个专栏来自于计算机科学与摄影艺术的交叉学科.今天我们讨论的问题是图像的自动裁剪/自动构图问题. 作者&编辑 | 言有三 1 自动构图基 ...
- 如何对计算属性进行修改_「计算摄影」计算机如何学会自动地进行图像美学增强?...
大家好,这是专栏<计算摄影>的第四篇文章,这一个专栏来自于计算机科学与摄影艺术的交叉学科.今天我们讨论的问题是如何学会做图像增强. 作者&编辑 | 言有三 1 图像美学增强基础 1 ...
- 【计算摄影】浅析多重曝光与自动图像融合技术
大家好,这是专栏<计算摄影>的第六篇文章,这一个专栏来自于计算机科学与摄影艺术的交叉学科. 作者&编辑 | 言有三 多重曝光(multiple exposure)是摄影中一种采用两 ...
- 【计算摄影】计算机如何学会欣赏照片的美感?
大家好,这是专栏<计算摄影>的第二篇文章,这一个专栏来自于计算机科学与摄影艺术的交叉学科.今天我们讨论的问题是图像美学评估问题. 作者&编辑 | 言有三 1 图像美学基础 1.1 ...
- 【计算摄影】图像美学专栏上线,先从学点摄影知识开始
大家好,这是专栏<计算摄影>的第一篇文章,这一个专栏来自于计算机科学与摄影艺术的交叉学科.这是第一篇文章,本篇文章的重点不是技术,但却是一个很有意思的主题,也是后面内容的基础. 作者&am ...
- 计算机如何学会自动构图?
本文摘自言有三新书,计算机视觉与摄影的交叉方向,名为<深度学习之摄影图像处理:核心算法与案例精粹>,主题聚焦于计算摄影方向. 文末有送书福利!!! 1 自动构图基础 1.1 什么是构图 自 ...
- 【计算摄影】图像与视频超分辨,深度学习核心技术与展望
大家好,这是专栏<计算摄影>的第七篇文章,这一个专栏来自于计算机科学与摄影艺术的交叉学科. 作者&编辑 | 言有三 图像超分,就是要将低分辨率的图像恢复为高分辨率的图像,它在日常的 ...
- 【完结】重磅!深度学习计算摄影的12篇干货文章
文/编辑 | 言有三 计算摄影是指使用数字计算而不是光学处理的数字图像捕获和处理技术.计算摄影可以提高照相机的能力,或者引入基于胶片的摄影根本不可能的特征,或者降低照相机元件的成本或尺寸(本段来自维基 ...
- 【计算摄影】浅析图像修复背后的核心技术
大家好,这是专栏<计算摄影>的第十篇文章,这一个专栏来自于计算机科学与摄影艺术的交叉学科. 作者&编辑 | 言有三 今天要介绍的一个问题是计算机视觉领域中的非常经典的问题,即图像修 ...
最新文章
- 动态加载javascript和css
- #1093 : 最短路径·三:SPFA算法(邻接表)
- 《吃土》读书笔记-笔记初稿
- Visual Studio Code环境变量配置
- hdu 4738 桥
- mysql 半同步_mysql 主从同步 与 半同步
- 【JAVA】线程安全的案例
- python中eval函数怎么用_python3中eval函数用法简介
- 未来的工作都被计算机代替,未来10年,50%的工作将被机器取代?而这些职业却无法被取代...
- 工控协议——S7通讯协议
- 周志华:关于机器学习的一点思考
- 什么是负反馈电路?微分.积分电路?“自激”现象?
- 在Windows 10下配置 DirectX11 + Visual Studio 2017开发环境
- MySQL业务账号需要哪些权限_MySQL 日常运维业务账号权限的控制
- 正面管教读书笔记 04 重新看待不良行为
- MATLAB彩色图像读写
- 如何成为一位Unity3D游戏开发者:对游戏开发抱有热情
- 迁移C盘到SSD硬盘后启动系统黑屏只有鼠标
- Learning Cocos2d-x for WP8(2)——深入刨析Hello World
- Unity 代码实现形成圆形及形成球形