商汤AR开发之旅（1）-- 关于SenseAR SDK

SenseAR 开发平台以商汤科技为核心，联合若干战略合作伙伴，提供一整套 AR 解决方案，包括 AR 底层驱动引擎、AR 内容创作工具链和 AR 硬件装置推荐，为各行各业的商家和用户提供 AR 服务，形成一个 AR 生态。商汤SenseAR提供平面检测、运动追踪、云锚点、手势识别等多种AI+AR基础能力，通过赋能移动端开发，构建增强现实体验平台。

简介
为了给AR开发者和内容创作提供一站式服务，商汤科技推出中国原创AR开发者平台——SenseAR开发者平台，以原创领先的SLAM 能力、环境感知、光照估计等AI技术，为AR发展提供强大助力。相较于其他AR平台，商汤科技SenseAR开发者平台在平台适配性、硬件需求、应用开发、沟通维护、开发成本等各个方面，均有显著优势。

功能特性

SenseAR开发者平台，提供C、Java、Unity3D等版本SDK；能够提供实时跟踪与建图、尺度估计、多平面检测、光照估计、手势检测、稠密重建功能，后续还会继续增加更多AR基础功能。

（1）实时跟踪与建图：能够实现6DOF跟踪，融合视觉和IMU信息，实时定位手机的位姿信息和输出周围环境的地图信息。

（2）尺度估计：尺度估计把虚拟物体模型以真实的大小准确的放在真实场景中。

（3）多平面检测：快速检测水平面和竖直平面（如地面和墙面）的大小和位置。

（4）光照估计：估计当前环境的光照情况。

（5）手势检测：包括手势的2D／3D关键点、手势姿态类型等信息的检测、以及手势在RGB图和深度图上分割结果输出，支持基于手的AR互动交互。

（6）稠密重建：融合深度与RGB信息，建立稠密环境网格，实现实时环境稠密重建。

（7）图像识别与跟踪：借助增强图像功能，帮助识别并标记环境中的一系列2D目标图像，并在摄像头移到图像外时仍可标记该图像位置。

（8）云锚点：利用云端技术使位于同一现实场景中的多台设备可加载同一个锚点，并渲染到各自的场景中，在该锚点上进行AR体验和交互。

（9）人脸识别与跟踪：基于RGB信息，获取增强现实中的人脸模型，实现人脸的实时识别与跟踪。

（10）三维物体识别与跟踪：基于RGB信息，在线建立三维物体模型，并实现三维物体模型的实时识别与跟踪。

SDK概述

SenseAR SDK以SenseAR API的形式提供给开发者，包含c/java/c# for unity三种语言形式，其中java/c# for unity会依赖c版本的接口实现。形式如下图所示：

SenseAR SDK包含功能包括：

SLAM：6DOF跟踪、重定位与回路闭合、水平面、竖直面检测
光照估计、单亮度值环境光感知、环境图
手势识别：14种预定义手势识别
图像识别与跟踪：多图像快速识别与跟踪
人脸跟踪与重建：人脸的快速检测、跟踪和重建
云锚点：多台AR设备共享同一坐标系
三维物体识别与跟踪：三维物体快速识别与跟踪
实时三维重建

开发配置

为了能正常运行SDK内的sample，对硬件和软件环境都有一定的要求。商汤SenseAR和OPPO ARUnit采用相同的标准，相互兼容，在部分小米机型和OPPO机型，分别预安装了SenseAR和OPPO ARUnit。商汤SenseAR分成两个部分：

SDK：集成到app里面；
SenseAR：开发者网站下载，是一个apk文件，运行集成SDK的app时需要确保SenseAR已经安装到手机里面。

硬件环境

软件环境

为了能正常运行SDK内的sample，需先安装SenseAR作为运行环境（预装或者手动安装）。如果想体验最新的效果和功能，推荐使用或升级到最新的SenseAR，具体可参考如下注意事项：

小米预装版本SenseAR在应用设置里面名称为ARServer，OPPO预装版本SenseAR的名字为ARUnit，预装版本比较老，只包含SLAM功能。
最新的效果和功能，推荐使用或升级到最新的SenseAR，新版SenseAR安装后应用列表名字为SenseAR，使用新版SenseAR需要先卸载预装版本，两者无法共存。
同时需要安装相应的开发环境，如下表所示：

相关教程：

SDK下载链接：https://openar.sensetime.com/sdks

商汤SenseAR开发系列教程（1）-- 用手势发射爱心

商汤SenseAR开发系列教程（2）-- SenseAR常见问题总结【建议收藏】

商汤SenseAR开发系列教程（3）-- 用手势发射爱心并加入发射方向【源码】

商汤SenseAR开发系列教程（3）-- 人脸检测之放置脸部挂饰

商汤SenseAR开发系列教程（5）-- 人脸追踪2之探索挂点位置

公众号[三次方AIRX]：三次方•数字化人才在线教育平台。帮助Z时代大学生和0-5年职场人获得混合现实、人工智能、游戏开发、大数据等能力。

商汤AR开发之旅（1）-- 关于SenseAR SDK相关推荐

汤晓鸥纵论商汤AR：AI驱动发力已超3年，落地多个场景
乾明发自友谊宾馆量子位报道 | 公众号 QbitAI 商汤AR,AI驱动,已经落地多个场景. 刚刚,在IEEE支持举办的2019国际混合与增强现实研讨会(ISMAR 2019)在北京召开. ...
WAIC直击：商汤科技展示AI应用落地最新成果
2021年7月7日,2021世界人工智能大会(WAIC)展区在上海世博展览馆正式开启,商汤科技SenseTime在展区中设立了以"大爱无疆 • 共生"为主题的创新展台(展位号H1- ...
融资 6 亿美元后，商汤发布 5 大 AI 产品
2018年4月,商汤科技宣布完成6亿美元C轮融资,再次创下全球人工智能领域融资记录. 近日,商汤在北京召开人工智能峰会,发布了多个最新 AI 产品:增强现实 SenseAR,智能图片视频审核平台 Se ...
正面刚谷歌苹果，diss了BAT及友商，商汤科技说自己是一只“黑羊”
李根发自凹非寺量子位报道 | 公众号 QbitAI 商汤,今天召开了一场"人工智能峰会". 这家刚刚创下AI领域融资新纪录的公司,对这场活动有多重视?看看百度搜索广告和现 ...
“学院派”商汤科技：原创技术价值迸发
作者|震霆出品|新芒X 公众号|GOwithAI 距离李飞飞离职谷歌已经5个月了. 我们熟识的这位AI圈一姐沉寂了一段时间后,终于又听到关于她的消息:领导的斯坦福的团队提出了自动图 ...
商汤科技校招经历汇总
一.校招流程商汤简介: SenseTime (商汤科技),是中国一家致力于计算机视觉和深度学习原创技术的创新型科技公司,总部位于北京."人脸识别.物体识别"技术开发.转让:计算机 ...
商汤科技通过港交所上市聆讯，三年半累计收入近100亿元
近日,人工智能公司商汤科技通过港交所上市聆讯,并披露了聆讯后的招股书.如若顺利,商汤科技将在不久后开启招股书,有望于2021年内在港交所挂牌,联席保荐人为中金公司.海通国际和汇丰银行. 公开信息显示, ...
商汤给元宇宙理了理“三观”
杨净发自凹非寺量子位 | 公众号 QbitAI 元宇宙,正在野蛮生长,比以往任何时候更甚. 一面是持续看好的市场表现.据麦肯锡数据显示,今年上半年有超过1200亿美元投向元宇宙,已是去年570亿 ...
融资2.1亿商汤领投，他要用VR+AR解决无人驾驶的路测难题
靠房地产VR起家的51VR,在将VR横向扩展到汽车.游戏.教育领域后,51VR创始人李熠对AI科技大本营透露,刚刚完成的2.1亿融资,将主要用于发力"用VR训练无人驾驶",这将是每 ...
独家 | 融资2.1亿商汤领投，他要用VR+AR解决无人驾驶的路测难题
靠房地产VR起家的51VR,在将VR横向扩展到汽车.游戏.教育领域后,51VR创始人李熠对AI科技大本营独家透露,刚刚完成的2.1亿融资,将主要用于发力"用VR训练无人驾驶",这将 ...

商汤AR开发之旅（1）-- 关于SenseAR SDK

商汤AR开发之旅（1）-- 关于SenseAR SDK相关推荐

最新文章

热门文章