计算摄影——图像美学评分

这一章主要介绍下图像美学评分相关的内容。美学评分主要是评估图像的主观美感，一般可以用在图片筛选、相册管理等方面，比如可以基于美学评分评估出主观感受更具有美感的图片推荐作为相册封面。

一、数据集：

图像美学使用的数据集，一般需要具备三个特征：1、覆盖面全，包含不同的内容和风格。2、进行大规模的人类研究，在赋予美学分数时符合大部分人的认知。3、针对不同的任务进行“美”的定义的微调。目前开源可用的数据集有：Photo.Net、AVA、AADB、AVA-Reviews。

二、传统美学质量方法：

传统方法的研究主要通过人类直觉、心理学等来设计美学特征，比如：颜色、形式、空间组织、运动、深度、人体、意义、纹理等。这些特征可以分为三类：底层美学特征、摄影美学特征、通用与专用图像特征。

底层美学特征，主要是指图像的颜色、色调、亮度、对比度等统计特征。出色的摄影作品通常都非常简洁，和谐，这样可以突出主体，色调通常遵循单一色调、互补色调、相邻色调等原理。亮度则一般主要针对“白加黑减”问题，比如雪景根据自动曝光的18%灰进行曝光，画面就会偏灰，此类场景需要更亮才会更美。

摄影美学特征，主要是指专属于摄影领域的特征，比如空间构图特征、前景与背景特征等。构图一般要遵循黄金分割法则，视觉平衡，三分法等，拍摄照片要能够突出主体，可以基于色调图计数特征来计算主体区域的色彩丰富程度，背景要足够简洁，可以通过统计背景的颜色分布、边缘特征等来衡量。

通用与专用图像特征，则主要指对于某些特定类型的图片，有一些通用的特征，比如尺度不变特征变化（SIFT）,视觉词袋模型（BOV）等。

三、深度学习美学质量评估

深度学习中此问题可以被当做分类问题、回归问题、排序问题来解决。

分类问题可用的算法为：RAPID模型、DMA模型、或者最基本的resnet、VGG等都可以。回归问题可以使用：NIMA模型。排序问题可以使用Siamese模型、Triplet模型等，这些模型结构就不在这里细讲了。

美学评分问题，主要受限于美学定义的主观性以及可用开源数据量较少，同时深度卷积网络对于输入图像通常都会进行裁剪、缩放、填充等操作，这也会破坏图像原有的特征，从而破坏图像的原始美感。