AR隔空书写演示

随着技术的发展和超视频化的时代驱动，交互的形式日渐丰富。从屏幕点触，到语音交互，人脸、指纹、声纹，再到近年流行的AR和VR……人类早在语言出现之前便习惯使用肢体和手势这种近乎本能的沟通方式来进行交流，作为最基础和自然的交互方式，手势交互的应用场景越来越多。

当前，市面上大部分视频应用的手势交互逻辑，主要是通过某个具体手势触发预置的单个特效，这种较为简单的交互不仅不能发挥出人类灵活手掌的潜力，在终端上的识别效果也有较大的提升空间。

尤其是受疫情影响以及在音视频会议和协同办公需求巨大的今天，使用实体白板画图写字进行远程沟通和协作非常困难。

虽然市面上有类似虚拟白板的产品，但是这类产品主要还是依赖于鼠标等设备来进行输入，我们可以利用手势的天然优势，代替鼠标、键盘、触屏等交互方式，实现AR隔空书写，在办公、生活、娱乐场景发挥其巨大价值。

AR隔空书写，打破虚拟白板壁垒

如何通过AR隔空书写来实现一个完善的虚拟白板？

最直接的想法是把写字的内容渲染在屏幕上，例如最近一个较火的开源项目“Yoha”便是通过这个想法实现了效果，但这也面临着因为摄像头视角有限导致字无法写得很小和书写内容有限等问题。

另一种方案，可以通过先书写一部分内容，将其缩小后，再写另一部分内容。这种解决方案看似可行，却面临着排版困难以及前后内容连续性差等问题。

阿里云视频云美颜特效SDK（以下简称“美效SDK”）的AR隔空书写能力，通过把AR隔空书写的窗口悬浮在虚拟白板上，使得AR隔空书写窗口可以自由的放大、缩小、平移，这样用户就可以自由控制写字的大小和位置，对书写内容的排版也会更具操控性。

对于摄像头捕捉的每一帧图像的边缘进行裁剪，然后再悬浮在白板上，用户可以放大或缩小ROI窗口，来实现对书写内容的大小和精细度的控制。

用户还可以通过移动AR隔空书写窗口来控制写字的位置。

当使用者的手势（虚拟笔尖）移到AR窗口边缘附近的时候，AR窗口将会自动朝对应的方向移动（参考DOTA、LOL、魔兽争霸等游戏移动窗口）。

参考动图，这种身体不需要移动的操作方式不仅符合人的书写使用习惯，也使得移动窗口的便利性和使用舒适性大大提高。

阿里云视频云将该AR隔空书写能力作为“隐藏黑科技”集成在钉钉的音视频会议硬件产品中，该能力可以帮助参会者在远程会议中通过隔空书写或是画图来助力沟通。在近期的钉钉发布会上，阿里云视频云也对该能力进行了交互展示。

钉钉2022线上发布会，AR隔空书写现场演示

丰富虚拟特效，让视频交互更趣意

AR隔空书写还可以和粒子特效结合，展现出雪花、火焰、水滴、花瓣、烟雾等各类丰富炫酷的特效，为用户进行个性创作提供发挥空间，让视频交互更美感、更有趣。

AR隔空书写能力近日上线于阿里云视频云的美效SDK，这是基于自研的面部关键点位技术，支持画面美化、人像美颜、抠像制作、贴纸美妆、动作识别、智趣交互、抠像处理等多种个性化的定制美效交互服务。

美效SDK具备多维度优势：

效果好：功能全面、一键组合与逐项DIY
包体小：基础美颜功能仅需0.78M
性能优：Android最低支持4.3系统，iOS系统最低支持到iOS-8系统，Mac支持最新M1
接入快速可定制：独立组装拆解、按需参数级调整定制

基于一系列的应用优势，美效SDK适用于直播、拍摄、会议、电商等多种业务场景，完美平衡了效果美化与性能开销的问题，助力视频交互更丰富智趣。

可以预见的是，手势交互是未来人机交互必不可少的一部分，一个轻盈无边界的沉浸式虚拟世界，不可能完全依赖“手持设备”和实体的“触点交互”，用技术解放双手才是虚拟与现实无缝链接的正确打开方式。

视频化场景的交互瓶颈已初显，阿里云视频云基于美效SDK的AR隔空书写能力的研发与应用，为超视频化时代的智趣新交互提供了更多可能，推动视频交互走向更远。

想体验AR隔空书写Demo或者交流的读者欢迎钉钉搜索群号：34197869，或扫下方二维码加入

「视频云技术」你最值得关注的音视频技术公众号，每周推送来自阿里云一线的实践技术文章，在这里与音视频领域一流工程师交流切磋。公众号后台回复【技术】可加入阿里云视频云产品技术交流群，和业内大咖一起探讨音视频技术，获取更多行业最新信息。

打破虚拟边界的视频交互新方式，AR隔空书写的应用理念和探索实践相关推荐

下一个爆款AI应用?视频交互新方式——AR隔空书写的应用探索和实践
作者:末土阿里云视频云视觉算法团队节日祝福什么是AR隔空书写?如上图所示,我们通过手势识别算法识别出手指关键点的轨迹,同时判断用户的手处于落笔/抬笔的状态,然后根据这些信息把用户写的内容渲染在视 ...
当渲染遇上边缘计算，打造视频交互新模式
2月25日,火山引擎视频云科技原力峰会顺利召开. 视频业务的高速发展驱动着视频应用走向更丰富的直播互动.更高清的视频内容和更沉浸式的玩法体验,而这背后离不开边缘计算全域分布式异构算力和高效渲染服务的支 ...
科技创新打破产品边界，定义未来新赛道
家电一体化.成套化.场景化正成为市场的新趋势.新一代的消费人群,也更愿意为美好的生活品质买单.这一方面,作为最早提出场景和生态概念的海尔毫无疑问是行业的拓荒者和引领者. 1月10日,欧睿国际发布的20 ...
华为可折叠手机推迟发布；苹果获新专利可隔空操控iPhone；微软不放弃 IE | 极客头条...
快来收听极客头条音频版吧,智能播报由标贝科技提供技术支持. 「CSDN 极客头条」,是从 CSDN 网站延伸至官方微信公众号的特别栏目,专注于一天业界事报道.风里雨里,我们将每天为朋友们,播报最新鲜有 ...
虚拟翻书、电子翻书、隔空翻书的原理和特点详解
佩京虚拟翻书系统是一个科技感强文化展示系统,它通过体感设备,根据人的动作,翻动画面. 互动翻书系统原理就是使用体感设备进行动作捕捉,当参观者在书模前挥动手臂就可以实现翻页的效果,其展现的内容也清晰可见 ...
内含福利｜云栖攻略·解锁视频消费新方式
9月19日~9月22日杭城6万人大Party即将再度开启! 2场主论坛 / 170+场前沿峰会和分论坛涵盖众多前沿创新领域超过50%的分论坛只讲技术与产品你还在等什么呢? 今天为大家推荐的是 ...
视频维权新方式视频内容将靠“DNA”鉴真假
"关于视频网站的盗用影视资源该如何处理?"这或许是所有提供内容资源给视频网站的内容提供商的难题.或许随着近日"全国网络视频版权监测与调查取证服务平台"的启动,中 ...
青岛新媒体运营教程：你知道几个，短视频变现的方式
我们先简单了解一下互联网的两个底层逻辑第一个底层逻辑,流量等于金钱,对于短视频平台来讲,流量就是用户的下载量.日活量等这些都可以增加平台的市值.估值和盈利空间:对于创作者来讲,流量并不只是单纯的粉丝 ...
突破科技边界，西部数据引领智慧视频迈向新时代
信息时代下的科技创新力度较强,大量新式技术和设备应用到各行业领域,成为推动社会持续发展的不竭动力.视频监控存储技术是一种应用相较于普遍技术,技术创新逐步经过网格化.数字化创新,朝着高清化方向发展,整体 ...

打破虚拟边界的视频交互新方式，AR隔空书写的应用理念和探索实践

AR隔空书写，打破虚拟白板壁垒

丰富虚拟特效，让视频交互更趣意

打破虚拟边界的视频交互新方式，AR隔空书写的应用理念和探索实践相关推荐

最新文章

热门文章