MNA-CNN: 如何在美学质量评估中储存照片原始信息
传统基于深度学习的图片美学评估的要求输入是fixed-size,待评估的照片经常会经过裁剪、缩放和充填等变换,造成图片质量的下降。
那如何可以实现对原始图片尺寸进行美学质量评估呢?
示例:由上图,可以看出对图片尺寸的更改,直观上对美学质量就有较大影响。
于是,作者提出了一个composition-preserving deep ConvNet method,可以对原图进行美学特征的提取,不损坏原图质量。
具体的方法就是在常规卷积层和池化层前面加入一个spatial pooling layer,以直接处理输入图片的原始大小和长宽比。
接下来,就具体描述下作者的方法。
Background
首先,作者使用了一个广泛使用的图片分类网络ImageNet,将网络的top layer进行调整使之适应于美学质量评估任务。即将softmax prediction layer变成具有sigmoid激活函数的单一线性单元。
示例:深度学习网络结构
令fw表示为一个投影方程
其中,QI表示为图片I的美学质量。
令fcl(I)表示为最后一层全连接层的输出,sigmoid激活函数利用了图片美学质量的先验概率
将训练样本对S={In,ym}作为输入,其实yn为二进制(表示高质量与低质量)。令W表示为网络的连接权重集合,则可用stochastic gradient descend algorithm优化下式
获得网络结构参数。
Composition-preserving Deep ConvNet
作者对上述网络结构进行了修改与调整,采用了adaptive spatial pooling (ASP)strategy来替代原本的fixed-size约束。
示例:adaptive spatial pooling layer。ASP层在本地映像区域执行类似于传统池化层的运算(例如 max pooling)。但不同的是,ASP层代替了原本的输出维度,可相应地调整receptive field的大小。
接下来就是作者提出的Multi-Net Adaptive-Pooling ConvNet (MNA-CNN)的网络结构示意。
示例:MNA-CNN包含多个子网络,每个子网络的最后一层池化输出都转变成ASP。每个子网络的输入均为同一幅图片,每个子网络的输出通过average operator可获得一个最终的总体预测输出值。
作者又对所提出的网络结构做了进一步的改进。
用一个aggregation layer取代MNA-CNN的average operator算子。将每个子网络的预测值和作为每幅图片的scene-categorization posteriors输入,输出最后的美学质量估值。
示例:Scene-Aware Multi-Net Aggregation。将所提出的网络与scene-categorization deep network相结合。顶层的分类器以子网络预测和图像场景分类的后验概率作为特征向量,并产生最终的美学分类。
Experiments
作者将所设计网络应用于AVA数据集,实验效果则如下所示:
可以说是,美学质量评估效果还是很棒棒的。
接着,通过实验检验下ASP的有效性
以及Composition-preserving 有效性
示例1
示例2
综上,可以说作者提出的Composition-preserving网络在美学质量评估方面效果很是不错的。
原文链接:
[1] Mai, Long, Hailin Jin, and Feng Liu. "Composition-preserving deep photo aesthetics assessment. " Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.
随着摄影平台积累的数据和用户的手动标注信息越来越多,相关的公司和团队在这个研究上将具有绝对压倒性的优势。
这里还是给自己的摄影分享公众号《言有三工作室》和摄影平台500px,图虫做个宣传。
知乎专栏已经开通,欢迎来吐槽,投稿
https://zhuanlan.zhihu.com/c_146817036?group_id=923257138554384384
MNA-CNN: 如何在美学质量评估中储存照片原始信息相关推荐
- ava查询mysql的数据_【技术综述】AVA-第一个大规模的美学质量评估数据库
本文首发于微信公众号<与有三学AI> 不知道你有没有读过笔者之前发过的一篇文章? <干掉柯洁的下一步,阿尔法狗创始人又要毁掉这个行业(深度学习)> 文章在在公众号和知乎专栏都有 ...
- php 获取照片信息,PHP中读取照片exif信息的方法
这篇文章主要介绍了PHP中读取照片exif信息的方法,本文从什么是exif信息开始讲解,使用PHP需要什么扩展.及它的安装方法和使用代码示例等,需要的朋友可以参考下 先来了解什么是图片的Exif信息 ...
- 无参考质量评估在视频增强的进展与应用
无参考质量评估在许多无法取得参考信息的实际系统中应用广泛且十分重要,本文整理自腾讯音视频实验室的高孟平在LiveVideoStackCon 2019上海大会中的分享,详细介绍了腾讯音视频实验室团队如何 ...
- 为AI摄影铺路,第一个大规模的美学质量数据库
编辑:Acci.br 不知道你有没有读过笔者之前发过的一篇文章,干掉柯洁的下一步,阿尔法狗创始人又要毁掉这个行业(深度学习),以及昨天的综述,一文说说这十多年来计算机玩摄影的历史 AI的确对摄影的方方 ...
- GEE中质量评估(QA)波段——去云、云量统计
目录 QA波段 MODIS去云 云量统计 QA波段 MOD09用户指南官方文档: https://lpdaac.usgs.gov/documents/925/MOD09_User_Guide_V61. ...
- 字节跳动VQScore算法拿下ICME 2021“压缩UGC视频质量评估”比赛第一名
在ICME 2021国际视频质量评估算法竞赛中,字节跳动拿下第一. 在多媒体领域世界顶级学术会议ICME 2021的「压缩UGC视频质量评估」比赛中,字节跳动旗下火山引擎多媒体实验室组成的" ...
- 腾讯多媒体实验室:基于三维卷积神经网络的全参考视频质量评估算法
腾讯有多个视频业务线,点播视频有腾讯视频.企鹅影视,短视频有微视.K歌,直播类有Now直播.企鹅电竞,实时传输类有QQ和微信的音视频通话.无线投屏和腾讯会议等. 用户对不同的产品有不同程度的期待:比如 ...
- 图像美学质量评价技术总结
1.1 图像美学(Image Aesthetics)评价数据集: AVA(2012年):西班牙巴塞罗那自治大学计算机视觉中心的Murray等构建了一个面向图像视觉美学质量分析与度量的大规模图像数据库( ...
- NanoPlot:三代纳米孔测序数据质量评估
简介 二代测序最常用的质量评估软件是FastQC,多样本时可进一步结合MultiQC.此外速度超快的fastp也特别推荐,而且包括质量评估.质量控制等功能,可以说是国产软件之光,详见下方详细教程: 数 ...
最新文章
- 2019年值得关注的人工智能技术的五大趋势
- mysql 随机查询数据
- 《信息学奥赛一本通》 高精度加法。输入两个正整数,求它们的和。
- amount describe
- python测试框架nose研究_详解Python nose单元测试框架的安装与使用
- 计算机系统基础:文件的存取和存储空间管理知识笔记
- 蓝牙驱动卸载后自动安装_Intel 蓝牙驱动安装教程
- python 去除nan inf_Python实现半自动评分卡建模(附代码)
- 学习ASP.NET之前,先了解它
- 嵌入式操作系统内核原理和开发(基础)
- 零基础学python要多久-零基础学Python要多久
- 在函数内对带副作用的运算符 rand 的使用无效。_如何成体系掌握Excel函数(一)...
- C++ Windows键盘钩子
- python三大神器
- 机械键盘各种设定(品牌:黑爵等)
- vivo是安卓手机吗_拜托你看看vivo手机自带的翻译功能,这么强大的功能浪费了合适吗...
- Swift - 给图片添加滤镜效果(棕褐色老照片滤镜,黑白滤镜)
- const和extern用法
- 模拟增强PSP实用软件iRShell 3.81PS补丁放出
- 【附源码】计算机毕业设计SSM校园二手商品交易系统
热门文章
- MyBatis拦截器有哪些以及分析
- 北大OJ百练——2721:忽略大小写比较字符串大小
- 派生类的友元与析构【C++继承】
- Oracle 用子查询创建表
- 怎么用PHP语句做出增改删查功能,PHP、MYSQLI实现简单的增、删、改、查功能(初学者)...
- ios开发text kit_iOS富文本(三)深入使用Text Kit
- 9个元素换6次达到排序序列_(算法四)高级排序(快速排序)
- 病案编码员需要计算机的什么知识,前辈分享:优秀编码员必须经历的成长过程,你到哪一级了?...
- VPGAME 的 Kubernetes 迁移实践
- 规模、性能、弹性全面升级,让天下没有难用的 K8s