HMS Core AR Engine 2D图片/3D物体跟踪技术 助力打造更智能AR交互体验
AR技术已经被广泛应用于营销、教育、游戏、展览等场景。通过2D图像跟踪技术和3D物体跟踪技术,用户只需使用一台手机进行拍摄,即可实现海报、卡牌等平面物体以及文物、手办等立体物体的AR效果。尽管近年来2D图像跟踪和3D物体跟踪算法已经取得了很大的进步,但受限于环境等因素影响,效果仍然有很大提升空间,是目前AR开发者的研发难点。
HMS Core AR Engine提供了2D图像和3D物体的端云协同跟踪技术,让开发者更简单便捷地开发AR类应用,让用户拥有更丰富的AR交互体验。
2D图像跟踪技术
端云协同2D图像实时跟踪技术已率先应用于Bilibili会员购,购物者在选购时能够浏览商品的AR特效,多角度、近距离地与IP衍生商品实现互动,从而获得全新的AR购物体验。据会员购后台数据统计,具备AR特效的商品销量更好,AR活动参与率是普通游戏参与率的2倍左右,助力会员购平台收入提升。
图1. Bilibili会员购效果图
传统的纯端侧2D图像跟踪方案,如果开发者要让新的图片支持AR特效就必须更新应用版本,有较高的版本维护成本,而且随着支持AR特性图片的增加,应用的体积也会不断增大。为此,AR Engine采用端云协同的架构解决该问题,开发者仅需将图片上传到云端即可快速发布新图片的AR特效,端侧应用版本无需更新,应用体积也不会因此而增加。
图2. 端云协同2D图像跟踪技术原理图
端云协同2D图像跟踪技术主要涵盖了:
云侧图像特征提取模块
云侧向量检索引擎
端侧视觉跟踪模块
在提升云端服务的响应速度方面,端云协同2D图像跟踪技术利用硬件平台加速,开发了软硬协同的高性能向量检索引擎,实现海量特征下的毫秒级检索响应。
3D物体跟踪技术
在文物介绍、商品展示、AR教育等场景,AR Engine还提供了端云协同3D物体实时跟踪技术。该技术能够实现3D物体全息式信息展示效果
图3. 端云协同3D物体实时跟踪技术效果图
现实生活中,会存在不同纹理材质的3D物体,例如雕塑类的纯色弱纹理材质,或者金属器皿类的反光现象,3D物体也会受光线变化导致表面出现阴影,这些场景都对3D物体跟踪带来很大的挑战。为了实现在各种场景下均能快速准确的进行识别跟踪,AR Engine使用多个AI网络组合完成3D识别定位功能,分别完成对象检测、位姿粗定位、位姿优化。
图4. 端云协同3D物体跟踪技术原理图
端云协同3D物体实时跟踪技术主要涵盖了:
云侧训练样本AI合成模块
云侧AI网络自动训练模块
云侧AI网络推理模块
端侧视觉跟踪模块
在对AI网络进行算法训练时,传统的训练样本人工标注方式,往往存在工作量大、开发周期长等问题。为此,AR Engine结合海量的离线数据和对抗生成策略,设计了训练样本的AI合成算法,能够免人工标注,仅依赖合成样本就可以实现复杂场景下3D物体的精准识别。
端云协同3D物体跟踪技术在文物介绍场景,已助力华为河图为莫高窟实现全息式文旅导游体验,帮助游客随时探究洞窟的内部细节。
图5. 华为河图的莫高窟全息式文旅导游效果图
以上技术来自华为2012中央媒体技术院,通过AR Engine面向开发者开放,在广告营销、教育、文旅等场景为用户带来差异化的AR体验。
更多AR技术的信息,欢迎收看5月27日19:00-20:00 HMS Core Discovery第15期直播,让我们一起探索HMS Core AR Engine是如何帮助开发者们构筑立体世界,打造沉浸式营销的服务体验。
欢迎访问华为开发者联盟官网-HMS Core AR Engine
了解更多详情>>
访问华为开发者联盟官网
获取开发指导文档
华为移动服务开源仓库地址:GitHub、Gitee
关注我们,第一时间了解 HMS Core 最新技术资讯~
HMS Core AR Engine 2D图片/3D物体跟踪技术 助力打造更智能AR交互体验相关推荐
- 全场景AI推理引擎MindSpore Lite, 助力HMS Core视频编辑服务打造更智能的剪辑体验
移动互联网的发展给人们的社交和娱乐方式带来了很大的改变,以vlog.短视频等为代表的新兴文化样态正受到越来越多人的青睐.同时,随着AI智能.美颜修图等功能在图像视频编辑App中的应用,促使视频编辑效率 ...
- 基于结构光测量技术和3D物体识别技术开发的机器人3D视觉引导系统
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自|新机器视觉 基于结构光测量技术和3D物体识别技术开发的机器 ...
- HMS Core Insights第二期直播预告——华为定位技术让你重拾方向感
[导读] 从古至今,人们从未停止对精确定位的追求.古人夜观星象定位,发明思南指引方向,用六分仪在大海上乘风破浪.而随着科技的发展,现代的人们已经可以通过手机享受便捷准确的定位服务.无论是出行导航,网购 ...
- EasyAR4.0使用说明(五)----3D物体跟踪
3D物体跟踪总体上是和平面图像跟踪差不多的,设置,包括程序控制,识别多个对象.区别只是目标对象的不同. 总体说明 3D物体跟踪对3D物体的纹理,也就是表面的图案的丰富程度是有要求的,纹理如果是简单的色 ...
- 2D和3D机器视觉检测技术的优势和局限性
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自|新机器视觉 机器视觉一般由工业光源,图像采集单元,图像处理 ...
- HMS Core Keyring携手航班管家和高铁管家,打造美好出行体验
高铁管家是国内最早⽀持⼿机⽀付购买⽕⻋票App之⼀,日活用户超380万,为⽤户提供一站式铁路出⾏服务.高铁管家母公司--深圳市活⼒天汇科技股份有限公司是国内智能⼤出⾏的开创者,先后推出航班管家.⾼铁管 ...
- HMS Core Insights第二期直播回顾 –华为定位技术让你重拾方向感
HMS Core Insights第二期直播 – "华为定位技术让你重拾方向感"已于4月26日圆满结束,这一期为大家解读了定位服务的技术应用与发展,下面我们一起来回顾本次直播的金句 ...
- 【HMS Core 6.0全球上线】华为钥匙环服务,打造跨应用跨形态无缝登录体验
华为钥匙环服务(Keyring),是HMS Core在安全领域开放的全新服务,为全球开发者提供用户认证凭据(以下简称"凭据")本地存储和跨应用.跨形态共享能力,帮助您在安卓应用.快 ...
- 高通ar,unity实现3D物体识别,图片识别
话不多说,直接上干货 1.实现的效果: 2.使用步骤: (一)高通官网申请免费key值 (二)创建database (三)创建target 特别说明,此处target分为图片,3d实体模型,以及立方 ...
最新文章
- Android 图片(ImageView)设置透明的方法
- 【亲测可用】改变鼠标样式
- 贾跃亭晒FF 91新图,“生态化反”到底凉没凉?
- 读完这本书,我做了一个APP
- Go 语言编程 — 项目布局规范
- python常用内置模块-Python常用内置模块之xml模块
- 怎么开启JavaScript ?
- 遍历Linux kernel的链表时删除元素的方法
- js中使用camel框架_使用Fabric8在Kubernetes中使用Camel和CDI
- 实例22:python
- VMware vSphere Client下增加虚拟机磁盘空间的方法
- ecshop验证码无法显示
- python包的init文件_Python模块包中__init__.py文件的作用
- React中的图片懒加载
- 免杀工具BypassAv-web使用教程
- Transformer最新综述
- 包名前面的org.apache和com.是什么意思
- SNAP 4. 使用snap进行地物光谱分析
- 软件开发职业发展路径
- java 图片深度_图像的色彩值称为图像的颜色深度,黑白图像的颜色深度为( )位。...