图片的质量评估(quality metrics for 2D images)

  • 图片的quality metircs的评估方式:有参FR(full reference)、少参RR(reduced
    reference)和无参NR(no reference)
  • 面向信号的metric:不考虑任何HVS,由于它的低复杂度,一般适用于实时应用。最常用的简单metric仍是peak signal-noise ratio metric来平衡复杂和性能

Color space conversion主要是将亮度和色度分离,主要分析亮度;
Perceptual decoposition主要是提取人眼比较敏感的空间频率;

3D mesh的质量评估(quality metrics)

  • Metric的分类

    有的还分为View-dependent和View-independent
    HVS-based主要是通过复杂的数学模型来模拟HVS的生理和心理机制,signal-oriented通过定义函数来预测有多少具体视觉成像效应(artefacts)

    1. 目前已有的静态metric的特性,如下表

      基于模型的感知量度一般都采用信号处理方式,因为基于模型的感知计算都比较复杂。
      Hausdorff距离是适用性最广的量度,可以比较具有任何不同连接关系的mesh。
      3DWPM由于基于全局粗糙度差异,理论上是可以比较有不同连接关系的模型,但是这个粗糙度的计算是基于点的相邻区域,它们依赖于采样密度,所以仍然有限制,即使3DWPM1采用多分辨率的方法来减少这种相关性。
      MSDM是基于mesh的连接关系来比较的,理论上任何mesh,即使有不同的LOD,都可以比较,,但不显由于软件实现问题,目前仍然需要相同的连接关系和顶点顺序。
      RMS,GL1,GL2和SF是基于点到点的映射,meshes必须一致,比如必须有相同的连接关系。

  • 基于图像的感知量度(image-based metrics)
    Image-based perceptual metrics 多使用在由渲染或简化驱动的应用中。由渲染驱动的感知主要是根据观看者的位置,推断出在渲染中使用多大的精度。由简化驱动的感知主要目的是尽量的减少mesh的多边形数而不会让人感觉简化后的模型与原始模型几乎无差别。
    主要的metric:
    CSF:constrast sensitivity function
    VDP:视觉差异预测(visual difference predictor)
    Visual discrimination model:通常用在自适应采样光线追踪算法中
    Visual equivalence:如果不同图片传达的场景外观具有相同的印象则他们在视觉上是等效的?该方法主要被用来探究环境光的改变是如何影响人眼对集合材料和亮度的感知。
    Spatio-temporal(video):将图片的运动和视觉注意和显著性结合。
    缺点:对于静止图像变化的感知量度不能很好地适应3D物体的变化,因为3D模型的运动带来的变化图像是很难模拟的。

基于3D模型的感知量度(Model-based metrics)

  1. Hausdorff distance :最小值中的最大值,描述两个点集间最大的不匹配程度

2.Root Mean Square Error(RMS):缺点是对比的meshes间需要有相同的连接关系

3.Geometric Laplacian Measures

4.基于曲率的metric(Curvature-based)
Kim在文章中指出人眼对曲率变化比较明显,提出了Discrete Differential Error Metric(DDEM)。
Lavoue受到Wang的2D图像metric SSIM的启发提出了MSDM(Mesh Structural Distortion Measure)。先计算两个mesh对应局部窗口的曲率统计量的差异(平均值,方差和协方差),然后把所有局部窗口的距离(差异)作明科夫斯基和定义为全局量度(global measure)
局部MSDM定义为:

局部窗口定义为顶点v为圆心,r为半径的球体中与v有连接关系的点集,作者推荐半径r为bounding box对角线长度的0.5%

实际操作中,该测度需要考虑原mesh的每个顶点的一个局部窗口并且窗口是非对称的。如果被测试的两个物体差异很大,则全局measure趋向1;
缺点(限制):meshes间需要相同的连接关系。
MSDM2是一个多分辨率版本,性能比MSDM好而且无连接关系的限制。

5.TPDM(Tensor-based Perceptual Distance Measure)基于张量
不仅考虑曲率的幅度,还考虑mesh的主曲率方向,并通过引入加权值来处理掩盖效应。


基于粗糙度的量度(Roughness-based)
视觉失真主要通过粗糙度的增量来评价,Corsini和Drelie Gelasca提出了两个perceptual metrics来进行水印的质量评估

  1. 3DWPM1:Wu et al该metric通过统计二面角来计算每个面的粗糙程度。实际上,平滑平面上的面向量变化很小,因此相邻面间的二面角接近于0,为了考虑粗糙度的规模,每个面的粗糙度转化计算每个点的粗糙度和不同尺寸环下的粗糙度,最后总的粗糙度就是所有点的粗糙度。
  2. 3DWPM2: Drelie Gelasca,基于artifacts are better perceived on smooth surfaces的原理,先对水印的模型使用平滑算法,然后计算平滑后的模型和原始模型间的差异的方差,将该方差作为平面的粗糙度
  3. FMPD(Fast Mesh Perceptual Distance),基于平面局部和整体粗糙度的改变
    局部粗糙度是计算离散高斯曲率的拉布拉斯算子,然后使用简单函数对局部粗糙度进行调制,这样可以避免视觉掩盖效应。
    基本思想:平滑区域变得粗糙会产生较大的感知差距,但是粗糙区域失真后引入的感知变化很小。Global roughness由调制局部粗糙度的归一化表面积分所得。
    两个mesh间的差别就是global roughness的差别
    优点:FMPD计算复杂度低而且和主观打分相关度高

基于应变场的测度(strain field-based measures)
用来评价mesh的变形程度的基于模型感知激励量度。它是基于由mesh变形带来的应力的能量变化。基本思想是:mesh变形越厉害,观察者观察到原始模型和被处理过模型间的差异可能性越大。
应变力能量(strain energy)的计算简化为只考虑每个mesh元素在其表面的扰动程度
缺点:该metric只适合较小的变形。

基于二面角(DAME)
要求两个mesh间有相同的连接关系,与主观测试分数相关性很高。基于二面角和曲率相似度比较高。

2D metric和3D mesh的静态metric相关推荐

  1. 2D秒变3D!视角还能随意切!华为上交提出:CIPS-3D:基于GAN的3D感知生成器

    明敏 发自 凹非寺 来源:量子位(QbitAI) 如果让GAN生成的逼真人像变成3D版,会怎样? 仿佛有摄像机对着人像直拍,正面.侧面.仰视.俯视不同角度都能展现. 真的有种人要从画中走出来那味儿了. ...

  2. 2D景观转3D风景大片,无惧复杂光线与遮挡,人类离「躺着旅行」的梦想又近了一步...

    点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 整理:公众号@机器之心 本文仅做学术分享,如有侵权,请联系删除. 万物皆可转 3D. 上班的时候想旅行 ...

  3. 谷歌2D景观转3D风景大片,无惧复杂光线与遮挡

    本文转自机器之心. 编辑:张倩.小舟.蛋酱 万物皆可转 3D. 上班的时候想旅行,休假的时候想躺着,这是大多数年轻人的状态.如果能够躺在床上旅行,岂不美哉? 在古代中国也有「卧游」的典故,凡所游履,皆 ...

  4. Farthest sampling on 3d mesh with mesh kept

    3D mesh的farthest sampling与2D 图片的采样原理类似(http://blog.csdn.net/seamanj/article/details/52028904). 随机给个初 ...

  5. 从2D图片生成3D点云

    记录两个可以由2D图像生成3D模型的深度学习网络 1.由单张2D图像生成3D点云的深度网络 论文 <A Point Set Generation Network for 3D Object Re ...

  6. 给你的2D游戏添加3D效果

    作者:numenzq 原文链接:http://www.j2medev.com/Article/ShowArticle.asp?ArticleID=1135 有两种方法给你的2D游戏添加3D效果.你可以 ...

  7. 深度学习:从2D卷积到3D卷积的简单理解

    很多人容易混淆2D卷积和3D卷积的概念,把多通道的2D卷积当成3D卷积,本文展示了一种直观理解2D卷积和3D卷积的方式. 2D卷积 单通道 首先了解什么是卷积核,卷积核(filter)是由一组参数构成 ...

  8. 2d游戏和 3d游戏的区别

    2D游戏和3D游戏的主要区别 一.总结 一句话总结:2D中的单位就是贴图,3D中的单位还有高 1. 3D 和 2D 游戏的区别主要体现在呈现画面和文件体积上: 2. 借助 3D 引擎可以提升 2D 游 ...

  9. 2D游戏和3D游戏的主要区别

    游戏的体现形式最主要是 2D 和 3D.最近比较流行的 AR/VR 等,都是属于 3D 类的体现形式.       最初的游戏,2D 是绝对的主流.虽然现如今 3D 游戏大行其道,但是 2D 游戏还是 ...

最新文章

  1. 高通8x12平台开机画面制作工具
  2. python朋友圈表白_情人节「告白生成器」来了!这个AI能让偶像对你说情话,过于真实!...
  3. 测试一个config server 服务器挂机后,集群是否能读写数据
  4. Windows 2008 R2 SP1部署Lync2010企业版(一)
  5. Linux学习笔记-增量编译(Makefile进一步使用)
  6. int 为什么是2147483647_现在的C语言编辑器里的int范围为什么是-2147483648~2147483647...
  7. arcgis属性表选择两个条件_ARCGIS关联属性表(转)
  8. log4j的日志级别
  9. SAP HANA创建类型(SAP HANA CREATE TYPE):
  10. .NET简谈组件程序设计之(渗入序列化过程)
  11. 【OCR技术】大批量生成文字训练集
  12. WebSphere的管理员界面
  13. CC创作共用版权协议,要求署名+非商业+相同方式共享
  14. wps分析工具库如何加载_怎么在wps表格里面加入“数据分析”工具啊?
  15. 【Java与智能设备】4_1 Activity的创建和跳转
  16. 斯坦福和伯克利都在用的线性代数教材,现在可以免费下载了
  17. 经典的pid公式,好脑子不如烂笔头。
  18. Spring源码解析之-doCreateBean() 详解
  19. 分享一个妄想山海脚本辅助,另附PHP随机数生成器代码
  20. layuiAdmin 框架单页面文档

热门文章

  1. Linux 驱动开发 四十三:platform 设备驱动实验(一)
  2. Visual Studio for Nintendo Switch? -FUZE4 Nintendo Switch是一个了不起的编码应用程序
  3. 思科ASA5520防火墙telnet、SSH及DHCP设置
  4. SaaS开发的敏捷之道 —— 专访用友伟库网开发经理
  5. pycharm 数据库导入操作
  6. 网络游戏服务器构架设计(四):云风的轨迹
  7. 代数,几何及微积分之间的关系
  8. BIM Revit2016下载安装教程
  9. QT基础入门【Demo篇】QT定时器的使用方法
  10. 潇的MySQL自学日记-汇总(二)