关于华为AR/HUAWEI AR Engine
1.HUAWEI AR Engine概览
HUAWEI AR Engine 是一个用于在 Android 上构建增强现实应用的平台。 HUAWEI AR Engine 通过垂直整合AR核心算法和海思麒麟芯片提供AR基础能力，目前提供了运动跟踪、平面检测、光照估计和命中检测、手势识别和指关节跟踪、人体姿态识别和骨骼跟踪，后续会持续推出更多AR基础能力：
• 运动跟踪：持续稳定跟踪手机的位置和姿态相对于周围环境的变化，同时输出周围环境特征的三维坐标信息。
• 平面检测：让手机可以检测到水平平面和垂直平面（例如地面或墙面）的大小和位置。
• 光照估计：让手机可以估测当前环境的光照条件，目前支持估计环境光的强度。
• 命中检测：让用户可以通过手机屏幕上的屏幕点选中现实环境中的兴趣点。
• 手势识别：识别特定的手势和特定的动作，目前可识别6种手势。
• 手部骨骼跟踪：识别和跟踪21个手部骨骼点的位置和姿态，形成手部骨骼图。
• 人体姿态识别：识别特定的人体姿态，目前支持6种特定姿态。
• 人体骨骼跟踪：识别和跟踪15个人体骨骼点的位置和姿态，形成人体骨骼图，支持单人和多人
2.支持的设备
HUAWEI AR Engine 可以在运行华为最新的中高端手机上，**如P20、P20 Pro和Mate RS，后续将支持所有华为中高端手机，具体手机型号见官方公示。为AR Engine目前很专注地只支持安卓，只支持华为手机，**这也是华为作为硬件厂商，软硬件结合的一个优势。
3. HUAWEI AR Engine 的工作原理
从本质上讲，HUAWEI AR Engine 在做两件事：在手机移动时跟踪它的位置和构建自己对现实世界的理解。
HUAWEI AR Engine 的运动跟踪技术使用手机摄像头标识兴趣点（称为特征点），并跟踪这些点随着时间变化的移动。 将这些点的移动与手机惯性传感器的读数组合，HUAWEI AR Engine 可以在手机移动时确定它的位置和屏幕方向。
除了标识关键点外，HUAWEI AR Engine 还会检测平坦的表面（例如地面和墙面），并估测周围区域的平均光照强度。 这些功能共同让 HUAWEI AR Engine 可以构建自己对周围世界的理解。
借助 HUAWEI AR Engine 对现实世界的理解，您能够以一种与现实世界无缝整合的方式添加物体、注释或其他信息。 您可以将一只打盹的小狗放在书桌的一角，或者利用画家的生平信息为一幅画添加注释。 运动跟踪意味着您可以移动和从任意角度查看这些物体，即使您转身离开房间，当您回来后，小狗或注释还会在您添加的地方。
同时HUAWEI AR Engine 还让手机具备了对人的理解能力：通过定位人的手部位置和特定手势的识别，可以将虚拟物体或内容特效放置在人的手上；结合深度器件，还可以精确还原手部的26个自由度运动，做更为精细化的交互控制和特效叠加；将识别范围扩展到人的全身，可以利用识别到的15个人体关键位置，实时的检测人体的姿态，为体感类和运动健康类的应用开发提供了支持
- 基本概念
在使用 HUAWEI AR Engine 之前，了解一些基本概念会有很大帮助。 这些概念共同介绍了 HUAWEI AR Engine 怎样呈现一种逼真的体验，让虚拟内容看起来就像位于真实表面或者处于现实世界中的位置一样。
4.1 运动跟踪
当您的手机在现实世界中移动时，HUAWEI AR Engine 会通过视觉惯性导航的技术来理解手机相对于周围世界的位置和姿态变化。 HUAWEI AR Engine 会检测捕获的摄像头图像中的特征点，并使用这些点来计算其位置和姿态变化。 这些视觉信息将与设备的惯性测量结果相结合，一起用于估算摄像头随着时间推移而相对于周围世界的位置和姿态变化。
通过将渲染 3D 内容的虚拟摄像头的姿态与 HUAWEI AR Engine 提供的设备摄像头的姿态对齐，开发者能够从正确的透视角度渲染虚拟内容。 渲染的虚拟图像可以叠加到从设备摄像头获取的图像上，让虚拟内容看起来就像现实世界的一部分一样。
4.2 平面检测
HUAWEI AR Engine 会通过检测特征点和平面来不断改进它对现实世界环境的理解。
HUAWEI AR Engine 可以查找看起来位于常见水平表面（例如桌子和书桌）上的成簇特征点，并让这些表面可以由您的应用用作平面。 HUAWEI AR Engine 也可以确定每个平面的边界，并将该信息提供给您的应用。 您可以使用此信息将虚拟物体置于平坦的表面上。
由于 HUAWEI AR Engine 使用特征点来检测表面，因此可能无法正确检测像白色书桌一样没有纹理的平坦表面。
4.3 光照估测
HUAWEI AR Engine 可以检测其环境光线的相关信息，并为您提供给定摄像头图像的平均光强度。 此信息让您能够使用与周围环境相同的光照来照亮您的虚拟物体，提升它们的真实感。
4.4 命中检测
HUAWEI AR Engine 利用命中检测来获取对应于手机屏幕的 (x,y) 坐标（通过点按或您希望应用支持的任何其他交互提供），并将一条射线投影到摄像头的视野中，返回这条射线贯穿的任何平面或特征点以及交叉位置在现实世界空间中的位置和姿态。 这让用户可以选择环境中的物体或者与它们互动。
4.5 定向点
定向点可以让您把虚拟物体摆放在非水平的表面上。当您运行命中测试而返回特征点时，HUAWEI AR Engine 将查看附近的特征点并使用它们来尝试估计给定特征点处的表面角度。 然后 HUAWEI AR Engine 将返回一个顾及该角度的姿势。
由于 HUAWEI AR Engine 使用特征点簇来检测表面的角度，因此可能无法正确检测到没有纹理的表面（如白色墙壁）。
4.6 锚点和可跟踪对象
手机的位置和姿态会随着 HUAWEI AR Engine 改进它对自身位置和环境的理解而变化。 当您想要放置一个虚拟物体时，您需要定义一个锚点来确保 HUAWEI AR Engine 可以跟踪物体随时间推移的位置。 很多时候，您需要基于命中测试返回的姿态创建一个锚点，如命中检测中所述。
手机的位置和姿态会发生变化，这就意味着 HUAWEI AR Engine 可能会更新平面和特征点等环境物体随时间推移的位置。平面和特征点是一种特殊类型的物体，称为可跟踪对象。顾名思义，HUAWEI AR Engine 可以随着时间推移跟踪这些物体。 您可以将虚拟物体锚定到特定的可跟踪对象，确保您的虚拟物体与可跟踪对象之间的关系即使在设备移动时也能保持稳定。这意味着，如果您将一个虚拟的小狗放在您的书桌上，即使 HUAWEI AR Engine 稍后调整了与书桌关联的平面的姿态，小狗仍会看起来位于桌子上。
4.7 手势识别
HUAWEI AR Engine提供6种特定手势的识别，输出识别类别结果并给出手掌BBOX屏幕坐标，左手和右手都能够有效识别，当图像中出现多只手时，只反馈最清晰置信度最高的手的识别结果和坐标信息，支持前后置相机切换。
通过手势识别能力，您可以将虚拟物体叠加到人的手部位置，并根据不同的手势变化来激活某些状态的切换，这可以给您的AR应用提供基础的交互功能并增加新的玩法。
4.8 手部骨骼跟踪（特定机型支持）
HUAWEI AR Engine提供单手关节点和骨骼识别能力，输出手指端点、手掌朝向、手部骨骼等手部高级特征。左手和右手都能有效识别，当图像中出现多只手时，只反馈最清晰置信度最高的手的识别结果和坐标信息，目前仅支持可获取深度信息的指定华为机型。
通过手部骨骼识别能力，您可以将虚拟物体叠加到更为精确的手部位置，例如手指指尖、手掌掌心等；利用手部骨骼，可以驱动虚拟手做出更为丰富和精细的操控，这可以给您的AR应用提供增强的交互功能和难以置信的新奇玩法。
4.9 人体姿态识别
HUAWEI AR Engine 提供单人的身体姿态识别能力,识别六种静态身体姿势并输出识别结果,支持前后摄像机切换。
通过人体姿态识别能力, 开发者可以用于需要识别动作并触发某些事件的应用场景,比如交互界面控制, 游戏操作动作识别等触发类交互行为，是体感类应用的基础核心功能，为您的AR应用提供较远距离远程控制和协作的能力，丰富应用的交互体验。
4.10 人体骨骼跟踪
HUAWEI AR Engine提供单人和多人的身体关节点和骨骼识别能力，输出四肢端点、身体姿态、人体骨骼等人体高级特征。支持2D骨骼（屏幕坐标系）和3D骨骼（与SLAM结合的空间坐标系）的输出，支持前后置相机切换。
通过人体骨骼识别能力，您可以将虚拟物体叠加到人体的指定部位位置，例如左肩、右脚踝等；利用人体骨骼，可以驱动虚拟人偶做出更为丰富和精细的操控，这可以给您的AR应用提供大范围的交互功能和难以置信的新奇玩法
关于华为AR/HUAWEI AR Engine相关推荐
- Unity接入Huawei AR Engine
说在前面 使用Unity进行AR开发的开发者基本都会遇到华为手机的坎:由于谷歌的制裁,ARCore并不能覆盖华为的新机型导致新的机型已经不能使用ARFoundation方案:使用第三方通用的ARsdk ...
- 华为发布《AR洞察与应用实践白皮书》，提出用5G点燃AR，用AR照亮5G
[中国,深圳,2021年06月17日] 今日,在华为共赢未来5G+AR全球峰会(Better World Summit)上,华为运营商BG首席营销官蔡孟波,发表了主题演讲<5G+AR,让梦想照进 ...
- 华为ENSP模拟器 AR启动 报错40
华为ENSP模拟器 AR启动 报错40 方法一 如果不行或者已经开启看方法二 1.点击管理–>全局设定 2.选择网络 3.点击设置 4.启用网络–>OK 方法二 Oracle VM Vir ...
- 搜狐新闻APP是如何使用HUAWEI DevEco IDE快速集成HUAWEI HiAI Engine
6月12日,搜狐新闻APP最新版本在华为应用市场正式上线啦! 那么,这一版本的搜狐新闻APP有什么亮点呢? 先抛个图,来直接感受下-- 模糊图片,瞬间清晰! 效果杠杠的吧. 而藏在这项神操作背后的幕后 ...
- 华为电脑HUAWEI MateBook X 2021如何进BIOS设置
环境: MateBook X 2021款 i5 集显 16GB+512GB (EULD-WFH9) 问题描述: 华为电脑HUAWEI MateBook X 2021如何进BIOS设置 解决方案: 1. ...
- 华为（Huawei）供应商认证审核
[华为(Huawei)供应商认证审核] 华为技术有限公司,于1987年成立,总部位于广东省深圳市龙岗区.2021年,华为公司的总收入为6368亿元,净利润达到1137亿元.华为是全球领先的信息与通信技 ...
- 打开商场元宇宙新玩法：AR导航+AR互动营销
随着"元宇宙"概念大热,预示着互联网进化的未来形态初露端倪,也为实体商业升级提供了一条新思路,元宇宙(Meta-verse)是指:一个集体虚拟共享空间,由虚拟增强的物理现实和物理持 ...
- 华为ENSP中AR启动失败错误代码40，42，43，及启动后一直#的问题的一种解决方案
系统是64位win10安装ensp510时不断40.42.43的错且在不报错时开启ar时一直输出# 查阅网上各种方法 一 一尝试后发现, 我的问题是虚拟机不是最新版本,且虚拟机中没有配置网卡,查看是 ...
- 华为ensp 启动ar设备失败，错误代码 ：40
本人环境: 电脑系统:win11 eNSP:V100R003C00SPC100 依赖组件: VirtualBox-5.2.44 WinPcap_4_1_3 wireshark-win32-1.4.3 ...
- 华为p30android,HUAWEI P30 规格参数
尺寸 宽度 71.36mm 重量 约165克(含电池) *实际尺寸依配置.制造工艺.测量方法的不同可能有所差异. 重量 约165克(含电池)* *实际重量依配置.制造工艺.测量方法的不同可能有所差异. ...
最新文章
- Juniper 重置设备到出厂缺省设置
- 用java建立多项式logit模型_使用mgcv向多项式logit模型添加样条
- windows下安装php性能分析工具XHProf(windows版本)
- Linux 线程安全常用的锁机制
- Python基础之变量、输入、输出
- 2021年主流CAD批量打印软件功能对比
- 基于matlab和proe的曲面建模,两个基础曲面建模实例教你Proe曲面建模技巧和思路...
- IDEA SSH工具连接方式
- 微信群控，微信云控系统源码之uiautomator框架介绍
- 跟着海盗头子创业是一种怎样的体验？
- 计算机再带word打不开怎么办,word打不开怎么办
- 已分区的硬盘如何重新合并， 分出去的盘怎么重新合并
- 为树莓派添加一个强实时性前端[原创cnblogs.com/helesheng]
- 月盈利百万的茶馆是如何通过一套商业模式起家？方案分享！
- Uber是如何管理大规模数据工作流的？
- 范数(Norm)和谱半径(Spectral Radii)
- 【python基础】python中的乌龟画图
- PHP unlink的使用
- 企业Wifi有哪些优势？
- Unity2D横版游戏地形生成