Intel RealSense(实感技术)概览

1 Reply
版权声明:本文系本站作者自己翻译整理,欢迎转载,但转载请以超链接形式注明文章来源(planckscale.info)、作者信息和本声明,否则将追究法律责任。

前段时间CES的报道满天飞,网上逛了几圈,感觉料最猛的还数Intel:老树开新花,推出14nm的第五代酷睿处理器;在智能可穿戴设备及物联网上雄起;RealSense实感技术开启未来人机交互模式。之前总听老哥讲,鼠标键盘这些传统交互模式统治了二三十年,目前跟踪识别爆火且技术趋于成熟,新的交互革命快要打响了。看RealSense这阵势,估计不出三五年新的交互便会普及开来。

英特尔早在2012年左右就着重研发实感技术,当时叫Perceptual Computing,即感知计算,并开放英特尔® 感知计算软件开发套件 2013 版(Intel® Perceptual Computing Software Development Kit, SDK 2013),设重奖举办因特尔感知计算挑战赛,吸引众多开发者参与。随着技术完善与成熟,2014年初更名为RealSense,即实感技术,而后发布了新的Intel® RealSense™ SDK 2014 ,同时举行2014英特尔®RealSense™应用挑战赛。

基于此技术的应用在IDF2014及今年CES上大放异彩。

Intel® RealSense™ SDK的架构:SDK core,I/O module和Capability modules组成整个SDK堆栈的基础。SDK core管理I/O module和Capability modules同时组织并管理管线的执行。I/O module捕获设备的输入数据而后发送数据到输出设备或Capability modules。Capability modules也叫algorithm modules,主要包括各种模式检测和识别算法(面部跟踪和检测、手部跟踪、手势识别、语音识别及合成等)。

各功能:手部和手指跟踪、面部分析、语音识别、背景移除、目标跟踪、增强现实、3D扫描。

1. 手

SDK将手抽象出骨架,并从背景中剥离出来。允许在照相机的0.2–1.2米范围内跟踪手上的22个点的位置和方向,如图。左右手是区分的,因而可以双手进行交互。

手势识别:包括静态手势识别和动态手势识别。SDK中内嵌了一系列手势如下图。你可以用内嵌的这些手势组合出新的手势,也可以根据手骨架上那22个点位置创建出新的手势。

动态手势识别:静态手势可以单独使用,当然也可以组合使用形成一定的动作。组合时要求开始的手势和结束的手势都已在手势识别系统中注册。

SDK给出了一系列动作如下:

2.脸

脸部检测:SDK提供精确的3D脸部检测和跟踪,且可以同时跟踪4张人脸。每张人脸用长方形来标记,你可以获得长方形的XYZ坐标。与2D跟踪相比,3D头部跟踪在头部运动方面更给力。

脸部识别:SDK提供识别特定人脸的能力。特定ID对应注册的特定人脸,并将此人脸的信息存储到人脸库的内存中。如果同张人脸被注册多次,那这张人脸被正确识别的机会将会增大。当没被识别的人脸出现时,识别模块将与数据库中的可能数据进行比对,如果找到匹配则返回此人脸对应的ID。

用户不用担心自己的头像被存储,因为存储的只是算法从图像中提取的特征的集合。

头的运动:SDK提供头部运动的3D方向:俯仰、左右转动、左右偏转,如图。

所以可以轻松获得用户头部指向哪里。也可以以此做粗略的眼神跟踪,下一版将会推出更精细的眼神跟踪。

标记点跟踪:SDK提供脸部78个标记点的跟踪以提高脸部识别和分析的精确度。在图像和坐标系中给出这78个标记点的位置。脸部标记点跟踪支持头像创建、脸部动画、拟态及简单的表情识别。可以直接用这些点或这些点的相对位置来作分析。不管你有没有刘海、戴不戴眼镜,这种标记点跟踪都支持。但用户头部在屏幕30度内效果最好。

面部表情识别:SDK也包括更高级的面部表情识别。这使得你创建卡通头像更简单。每一种表情有1到100的强度等级使得你做的动画更平滑自然。SDK中表情:

情感识别:SDK中的情感识别算法用的是2D RGB数据。情感模块是独立的模块,并非脸部模块的一部分。为保障情感识别正常工作,图像中的人脸至少要有48×48个像素。此算法并不局限于RGB数据,灰度数据同样可行。利用SDK,你可以检测并估计以下六种原始情感的强度。

头像控制:SDK通过结合面部表情及78个标记点提供简单的头像控制功能。SDK提供动画角色的示例代码,使你的应用可以适应任何脸型并把用户头像动画化。

应用场景:

3. 语音

主要包括语音命令和控制、听写、从文字转译成语音等功能。只支持英语,语音识别对成年人效果最好。

语音识别:分为命令模式和听写模式。命令模式需提前设定命令列表,特定命令绑定特定动作。听写模式内置了一个通用的词典,包括50k个常用单词。如果你觉得不够用,也可以自己添加词典中没有的单词。听写模式限时30秒。命令和听写模式不可同时开启。

语音分析:SDK也可以根据文本动态的生成语音,由女声读出。

4. 背景移除

可以实时的移除背景并替换成新的背景。

应用场景:

5. 目标跟踪

Metaio*3D目标跟踪模块提供基于光学的跟踪技术,可以跟踪视频序列或场景中的目标物。Metaio工具箱可以训练、创建并编辑3D模型,这些模型可以传给各种目标检测及跟踪算法。

跟踪技术支持平面的2D目标跟踪、基于特征的3D跟踪、CAD模型的基于边界的3D跟踪及即时3D跟踪。

6. 增强现实

用音频、视频、图像或其他信息来添加、增强或补充英特尔实感技术游戏的内容。

7. 三维扫描和打印

可以扫描、编辑、打印和分享三维物体,并与 3D Systems展开合作。

目前因特尔已经与腾讯合作创立游戏创新实验室,推进实感技术,并打造了《轩辕传奇》。与京东合作建立“京东因特尔联合创新实验室”,推出虚拟试衣、3D物品展示等,使实感技术落地电商平台。同时因特尔自己也在不断推出自己的实感技术产品。这不前两天在北京推出其全新的第五代酷睿处理器家族,搭载此处理器的多款产品还配备了英特尔实感技术,看来这项技术很快就会遍地开花。

只要你的处理器是第四代及四代以后英特尔® 酷睿™处理器,操作系统满足Microsoft* Windows 8.1(仅限64 bit),再外购一个英特尔® RealSense™ 3D 摄像头就可以下载SDK玩起来。估计不久联想、戴尔、华硕、宏基、惠普等等搭载第五代酷睿处理器并内嵌因特尔3D摄像头的超极本、二合一及一体机设备就会上市,那时玩起来会更爽。

资料来源:RealSenseSDKdesignGuidelinesGold

Intel RealSense(实感技术)概览相关推荐

  1. Intel RealSense实感深度摄像头自校准(Self-Calibration)步骤详细,D400系列适用

    喜提国庆8天工作乐,改代码真的很帅,才华皆一切,这篇博客的由来是因为我做实验了,然后摄像头的有效距离贼差,打了技术人员的电话说他们的有效距离4m,然后边缘相差为百分之2,简直离谱,我的设备有效距离大约 ...

  2. 增强现实篇之英特尔实感技术-intel realsense

    本文仅讨论英特尔实感技术的应用范围以及原理. 什么是英特尔实感技术? 英特尔实感技术英文名是intel realsense, 其实是一款特别的摄像头,它通过视觉.听觉.触觉.语音,甚至感情.情境等多重 ...

  3. Intel Realsense D455 D435i D415 T265 3D实感硬件对比

    硬件参数对比   Realsense D455(2020) Realsense D435i(2018) Realsense D415(2018) Realsense T265(2019)   深度范围 ...

  4. 2015英特尔® 实感™ (Intel® RealSense™) 动手开发实验课

    2015年英特尔® 全球实感技术动手实验课路演来到中国, 这次在中国将有北京和广州两站,包括一天的动手实验室活动 - 面向对感知计算.3D 开发和虚拟现实兴趣浓厚的开发人员.英特尔专家将会指导您如何借 ...

  5. 看京东如何把Intel RealSense技术用在物流上

    提起Intel RealSense 3D 深度摄像头,总是离不开无人机.机器人等前沿硬件产品,比如 CES 2016 上让人眼前一亮的自动避障无人机Yuneec "台风 H",Se ...

  6. Intel英特尔RealSense实感深度摄像头 自校准(Self-Calibration)操作步骤讲解 D400系列适用

    Viewer工具与校准纹理目标纸下载:https://download.csdn.net/download/weixin_43042683/86242590 1.下载最新版本的Viewer工具和固件 ...

  7. TX2是ARM平台CPU比较弱,GAAS开发人员喜欢用up squared,英特尔官方说是应用intel realsense技术最佳选择

    后来发现GAAS有专门一篇文章讲这个,可见他们是认真的. 我在博文里有转载 https://blog.csdn.net/sinat_16643223/article/details/107873419 ...

  8. intel RealSense摄像头比较

    1.D415,D435和D435i (1)总体对比 (2)具体对比 相机细节 三个深度相机大小相同(在毫米内),它们都使用相同的视觉处理器通过USB 3提供RGB-D数据,并且它们具有相同的最大深度分 ...

  9. 关于英特尔实感技术Visual SLAM和T265追踪摄像头的介绍

    摘自:https://zhuanlan.zhihu.com/p/114158536 关于英特尔实感技术Visual SLAM和T265追踪摄像头的介绍 颜昳华 映维网 高通XR大使-曾任英特尔AR/V ...

最新文章

  1. cmd SETLOCAL使用介绍
  2. 哈儿小波分解和重构(降维和升维)实现算法
  3. 95-136-041-源码-Operator-TwoInputStreamOperator
  4. 【工程项目经验】函数编译可见性
  5. java——关于数组的定义 和 访问修饰符的修饰内容
  6. 基本排序算法比较与选择
  7. 【2015 SACC】 架构之手机淘宝性能优化全记录
  8. CentOS 7安装 MySQL 8 数据库
  9. [WPF] 动画Completed事件里获取执行该动画的UI对象
  10. 禾川plc编程软件_禾川PLC编程软件下载|HCP Works(禾川PLC编程软件) V2.26.01.92012 官方最新版 下载_当下软件园_软件下载...
  11. pycharm社区版创建flask项目
  12. 《薛兆丰的经济学课》课程总结5--需要协调
  13. b区计算机211学校排名,考研B区院校排名
  14. 浏览器内部工作原理[译]How browsers work (转)
  15. 函数计算机使用说明,SHARP-EL506P 函数计算器的使用说明
  16. 【滤波器】基于matlab实现语音通信仿真附报告
  17. 给定空间的四个点的笛卡尔积坐标,使用python、shell计算二面角
  18. 【智能优化算法-黑猩猩算法】基于增强型黑猩猩优化器算法求解单目标优化问题附matlab代码
  19. Tokenview | 区块链安全
  20. JS逆向:狐妖小红娘漫画扒取

热门文章

  1. 大数据技术原理与应用3NoSQL数据库、云数据库
  2. y-image: web端图片加载库
  3. 网络空间安全论文笔记4
  4. 佛光大藏经与firebird数据库
  5. Python基础 if判断语句 篇
  6. 【汇智学堂】-JAVA桌面游戏开发(五子棋之二:选择等级)
  7. Ubuntu 安装 ARP 防火墙
  8. c语言头文件大全 chm,文件后缀名大全.pdf
  9. 在统计学中参数的含义是指_统计学中基础概念说明
  10. 打扫卫生工作安排_你的钟打扫干净了吗?