眼球追踪技术不仅是目前全球最前沿的机器视觉技术,还是最为人性的VR技术。

2016年4月21日,在镁客网于上海世博展览馆主办的VR主题论坛上,七鑫易维副总裁彭凡发表了题为《眼球追踪技术——让VR更“人性”》的主题演讲。彭凡表示,眼球追踪技术是目前全球最前沿的机器视觉技术,是最为人性的VR技术。七鑫易维作为技术型公司,希望在未来能为行业提供眼控技术标准,将注视渲染做到极致。

以下是七鑫易维彭凡的演讲实录:

目前,眼球追踪技术已经在国外的医疗领域和广告领域里有一些应用了。比如说,对于像霍金这样的帕金森综合证患者或者是一些全身都不能动的人群来说,能用眼睛来打字、控制电脑是非常重要的。这样的技术在国际上我们叫做眼控沟通辅具。

眼球追踪技术是目前全球最前沿的机器视觉技术,它的原理就是用眼控仪捕捉用户头部运动和眼球转动的信号,实时计算出眼睛的注视点方向。

七鑫易维作为技术型公司,认为当下VR行业有以下四个的瓶颈。首先任何技术的交互都是非常重要的,现在的VR交互大部分还是基于控制器,但是控制器并不能给用户带来真实感,而虚拟现实的特性之一就是真实感。未来VR的交互一定是机器去适应人而不是人去适应机器的。

人在进行信息获取时,有80%以上信息是来自于视觉的。所以说,未来VR体系中的交互技术必定会是眼球追踪、语音识别、手势识别、动作捕捉的集成。

第二个问题是显示。不知道大家在体验VR的时候有没有觉得画面不够清晰?现在大多的设备所能达到的单眼分辨率只有1K,而且计算机已经无法进行渲染了。但是如果想要用户在体验VR时有身临其境的感觉,那么左右眼的画面分辨率就必须要达到8K。

第三个是计算。如果我们想要拥有1000赫兹的渲染刷新率和单眼8K的分辨率,那么对计算机性能的要求就相当的高了。但是,现在市面上具有上好性能的计算机价格都非常的高,怎么把对计算机的要求降下来就变得尤为重要了。

最后一个是内容。我一直觉得内容不是一个很大的问题,因为当整个产业链的技术标准确定之后,我们的内容制造商是可以像智能手机一样快速的去复制内容的。

眼球追踪技术承担着什么作用呢?上面这张图里的电脑屏幕上所显示的是一个体验者眼神的校准页面。眼控交互可以让VR更人性,让我们所看到的VR画面中任何一个物体或任何一个图标,都是出于人眼的自然反应。

每一个人在看东西时的自然反应都是先用眼睛去看的,只有在需要看眼睛视觉范围外的东西的时候才会转动头部。可是当你每点一个图标都必须要进行头部的转动的话,就会觉得用头去看每一个图标是非常累的。在实验室的测试结果中表明,眼动交互特别是针对于二维UI来说其效率可以提高40%,这是在单纯的UI交互上比手势识别、语音识别还要快的一种交互方式。

除了交互以外,注视点渲染也会为整个VR产业革命带去很大影响。现在VR设备的画面之所以不够清晰、计算量高,是因为我们对于渲染的要求高。但是,我们戴上VR头盔所看到的画面也只是注视点所在的位置而已,旁边的画面是看不到的。这和我们现实生活中的真实对焦一样,眼镜看任何东西都是有焦点的,是接收不到焦点以外的信息的。

所以,在做VR渲染的时候,只渲染画面注视中心的位置是非常实用的。也就是说,我们只对注视中心的画面进行100%的渲染,将注视中心边缘的画面按照一定的比例进行像素点和分辨率的降低,这样就能够有效的提升渲染速度以及降低渲染的计算量了。

在游戏当中,眼控技术应用的并不多,这里举几个简单的例子,例如菜单的调用。一般情况下,我们的游戏画面中是不会显示菜单的,只有当玩家将眼镜的注视点放到画面的左上角或右上角时,菜单才会显示出来。

另一个例子就是眼控手电筒。在游戏中特别是恐怖类游戏中,玩家的眼睛就是手电筒,眼睛的注视点就是手电筒光聚焦的那个点,这样一来,游戏的恐怖效果就会更强烈一些。

随着现实中战斗机性能的越来越高,未来的战斗机在对战中很有可能就是用眼神去进行目标锁定的,因为这种锁定方式是最快的。七鑫易维目前做了一个游戏,是一款战斗机瞄准射击游戏。玩家可以用眼神去锁定战斗机,用头部的转动来控制战斗机的视野。对于VR来说,眼控技术其实就像是一个没有确定键的鼠标。

七鑫易维是全球第一个做到全视场角追踪的公司。为什么要强调是全视场角呢?因为如果我们的追踪技术只能追踪到画面中心区域的话,计算机就不知道还有边缘的部分了,那么追踪的效果就会大打折扣。

要做高精度、低延迟的注视点渲染,需要随时随地采集到每一个人的注视点数据,这个数据的延迟必须非常小,因为每个人眼动的速度非常的快,七鑫易维现在已经可以做到120赫兹到380赫兹了。

第三个就是防抖。用户在戴上头盔后难免身体会随着画面进行一些运动,但是这会造成眼睛和传感器之间的剧烈抖动,而这种抖动会影响图像的呈现效果。做好防抖,就是为了给用户更好的体验。

七鑫易维近期会跟高通、AMD这样的很多芯片上游公司进行合作,帮助他们做注视点渲染。希望在不久的将来,VR行业里面就会出现由七鑫易维所提供的眼控技术标准。

我的演讲到此结束,谢谢大家。

原文发布时间:2016-04-28 13:43
本文作者:伶轩
本文来自云栖社区合作伙伴镁客网,了解相关信息可以关注镁客网。

七鑫易维彭凡演讲实录:眼球追踪技术让VR更“人性”相关推荐

  1. 七鑫易维新出VR眼球追踪技术,打破传统虚拟现实玩法

    眼控VR全视场角追踪技术,创造虚拟现实新需求. 现在已经出现了不少360度全景相机,可以进行全视角的体验.然后也有不少VR设备具备这一功能,但是一直都没能实现眼控的VR全视场追踪.国际上知名的SMI. ...

  2. 中企动力牵手七鑫易维 以眼球追踪技术剔除建站顽疾

    互联网营销时代,企业网站设计至关重要,企业网站若是能在千篇一律的网站海洋中别具一格,成功吸引受众注意,那么网站就成功了一半.为了进一步提升用户体验,将网站的排版.布局如网站首页banner图的位置.大 ...

  3. 「镁客·请讲」七鑫易维黄通兵:追求更自然的人机交互,眼球追踪技术正在路上...

    "行业内的公司既有被收购的,也有自己独立上市的,所以一切皆有可能吧." 最近,微软在win 10 的最新版本中,加入了"眼球追踪"功能,通过凝视来完成一些基本的 ...

  4. 演讲实录丨王海峰:AI 新基建加速产业智能化

    2020-09-04 21:51:34 7月25日-26日,在中国科学技术协会.中国科学院.中国工程院.浙江省人民政府.杭州市人民政府.浙江省人工智能发展专家委员会指导下,由中国人工智能学会.杭州市余 ...

  5. 演讲实录丨中科大陈小平教授《从封闭性到非封闭性:2020到2035年智能机器的机遇和挑战》...

    来源:中国人工智能学会 陈小平 中国科学技术大学机器人实验室主任.教授 以下是陈小平教授的演讲实录: 非常高兴有这个机会进行中.新学术交流.本报告包括四方面内容.第一,关于人工智能(简称AI)的两种类 ...

  6. GIAC 2020 全球互联网架构大会演讲实录:基于TarsGo的微服务技术架构实践

    2020年8月14日-15日,GIAC 2020 全球互联网架构大会于上周五正式在深圳开幕. GIAC(GLOBAL INTERNET ARCHITECTURE CONFERENCE)是长期关注互联网 ...

  7. 2018 Unite大会——《使用UPA工具优化项目》演讲实录

    2018年5月11日至13日,腾讯WeTest与Unity联合打造的移动游戏性能分析工具(Unity Performance Analysis,以下称为UPA)正式亮相2018 Unite大会,为Un ...

  8. 我在【MIT科技创新领袖俱乐部】的演讲实录

    注:MIT科技创新领袖俱乐部是中国业界科技界顶级CEO/CTO俱乐部,由海尔.格力.融贯.携程.支付宝.腾讯.京东.国美.小米.饿了么.唯品会.Ucloud.谷歌.格兰仕.民生电商.商派...等企业发 ...

  9. 演讲实录丨徐宗本院士:如何突破机器学习的先验假设?

    来源:中国人工智能学会 2021年6月5日至6日,由中国科学技术协会.中国科学院.中国工程院.浙江省人民政府指导,中国人工智能学会.杭州市人民政府主办,杭州市余杭区人民政府筹备组承办,浙江杭州未来科技 ...

最新文章

  1. 通过100个单词掌握英语语法(十八)did
  2. 【转】Linux Posix Timer使用
  3. Go标准库os/exec使用指南
  4. leetcode--53. 最大子序和
  5. 设计模式——享元模式具体解释
  6. Spring+SpringMVC+MyBatis+easyUI整合基础篇(十)SVN搭建
  7. AWS上的实例无法ping通的解决方案
  8. 20165320 第六周学习总结
  9. Web网站模板-响应式旅游旅行团酒店预订展示网站模板(HTML+CSS+JavaScript前端大作业)
  10. 极光IM简单接入步骤
  11. 计算机内存4gb是多大,手机内存多大才不卡?专家:4GB足矣
  12. Hexo even主题博客配置
  13. 微信修改基本配置信息
  14. numpy和pandas的操作
  15. 计算机课程设计-基于ssm+vue的物资管理系统(前后端分离)-物资出库入库管理系统java代码
  16. 全排列(从大到小排列)
  17. 基于lora模块智能井盖解决方案
  18. HTML5网页设计常用标记-图像标记
  19. 纯js单页面赛车游戏
  20. 教你用ILMerge来合并dll以及将dll合并进exe文件中

热门文章

  1. JAVA用爬山法解决八皇后问题_八皇后问题爬山法实现(C语言)
  2. [乡土民间故事_徐苟三传奇]第十二回_歪拐差役苦挑石磨
  3. BigDecimal取余运算
  4. 华为机试 HJ21简单密码【java实现】
  5. Android常用的第三方支付(支付宝、微信、银联)
  6. 秒懂SpringBoot之Spring对象生命周期与扩展点浅尝辄止
  7. html滑动仿悬浮球菜单
  8. volatile关键字
  9. VMW配置FusionStorage Manager(FSM)虚拟机主备
  10. 梅科尔工作室E1-张冉-鸿蒙笔记2