空气输入法!浙大最新研究:空中动动手指,就能给智能手表输入文本
点击上方“视学算法”,选择加"星标"或“置顶”
重磅干货,第一时间送达
丰色 发自 凹非寺
量子位 报道 | 公众号 QbitAI
许多人日常在用的智能手表,它的文本输入要么靠语音,要么靠打字或手写。
但有时你可能不方便说话,或者在那么小的屏幕上戳键盘实在有点“局促”。
那咋办?
也许可以试试“隔空打字”法。
浙江大学就开发了这样一个名叫AirText的应用,只需你动动手指和手腕,手表就确识别空中字符,错误率低至3.9%。
还配备联想和推荐功能,让拼写速度更快。
给智能手表配上“隔空打字”功能
开发AirText的一个主要挑战在于如何让它理解手腕运动和指尖拼写动作的对应关系。
就像下面这张图所展示的,拼写时手腕呈现出来的轨迹和正常字母差得还挺多的。
为此,研究团队先借助了一个现成工具Leap Motion,它可以用红外传感器跟踪手势。
然后八名志愿者使用五种不同的智能手表拼出超过25000个字符,用Leap Motion收集相关的手腕和手指运动数据。
再将数据输入神经网络模型,进行训练,最终AirText可以根据用户手腕微小的动作变化推断指尖的轨迹。
然后,仅通过智能手表就可以高效、准确地将推断出的轨迹识别为相应的字符。
为了加快拼写速度,他们还给系统配上了单词预测和推荐功能。
预测单词会显示在手表屏幕的四个方向,我们可以将手表向上下左右倾斜就能进行选择(晃动手表可以退格)。
词错误率为3.9%
首先来看AirText的准确性测试。
衡量指标为WER(词错误率,Word Error Rate),计算方法就是将错误字/识别正确的字。
其中错误字涉及三种类型:漏字(用I表示,即校对成正确的拼写时需要再插入的字的数量)、多字(用D表示,即需要删除的字数量)、错字(用S表示,即需要替换的字数量)。
将AirText与俩基线方法(IMU-CNN和BLSTM)相比,最终AirText得分最低,也就是准确性最高。
三者平均分分别为3.9%、30.9%和57.1%。
以上是单用户在单设备上的测评结果。
为了更准确,他们还测试了多用户和多设备,结果如下:
左图中,同一个用户使用5种不同智能手表测试AirText获得的准确率得分分别为:8.3%、7.5%、6.5%、7.7%和3.9%。
研究人员表示,7%的WER意味着平均每15个单词中有一个识别错误,这对于隔空手写来说还是可以接受的。
右图中,8位不同用户使用同一手表获得了11.2%、5.9%、4.3%、4.0%、3.6%、5.9%、4.7%和3.9%的WER。
从中我们可以看出,与不同的设备相比,不同的用户对准确性的影响更大。
不过研究人员表示,借助模型更新组件,AirTex 仍然可以针对不同用户实现较高的准确率。
然后是速度测试。
由于BLSTM基线的WER约为57%,错误率太高,研究人员只比较了AirText和IMU-CNN两者的速度。
衡量指标是WPM(单词/每分钟,Word Per Minute),其计算方式为用总体输入字数-错误字数/时间。
结果AirText的平均WPM为8.1,而IMU-CNN基线的WPM仅为4.6。
研究人员指出,此输入速度与一些基于双手触摸屏的文本输入方法相当(这些方法在实际应用中的WPM为9.1、9.8WPM)。
总体来看,AirText的准确率不错,但速度还需要进步。
慢的主要原因还是因为它每拼写一个字符就需停顿一会儿。
研究人员正在研究破解办法,并表示最终有兴趣将AirText商业化。
作者介绍
一作为浙江大学计算机学院助理教授高艺,浙江大学博士毕业,研究方向包括嵌入式软件、无线和移动计算、传感器网络和信息物理系统。
通讯作者为浙大计算机学院副教授、博导董玮,同样为浙大博士毕业,研究方向包括物联网系统和网络、边缘计算、无线和移动计算。
其谷歌学术引用次数总计3000+。
论文地址:
https://ieeexplore.ieee.org/document/9625777
参考链接:
https://spectrum.ieee.org/smartwatch-input-finger-writing
— 完 —
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。
点个在看 paper不断!
空气输入法!浙大最新研究:空中动动手指,就能给智能手表输入文本相关推荐
- 伯克利人工智能研究院最新研究:协作型工业机器人如何更智能?
原文来源:BAIR 作者:Changliu Liu.Masayoshi Tomizuka 「雷克世界」编译:嗯~阿童木呀.我是卡布达 在现代工厂中,工人和机器人是两大主要劳动力.出于安全考虑,这两者通 ...
- Facebook最新研究:配合AR眼镜使用的腕带,可将神经信号转化为动作
来源:X增强现实 日前据外媒报道,Facebook基于其在2019年收购的初创公司的CTRL-Labs技术,计划提供一个新的增强现实界面. 在发布的一段演示视频中,其展示了使用肌电信号(EMG)将细微 ...
- 基于激光诱导石墨烯的柔性传感器最新研究进展[转]
[1]崔进京,文丹良,徐丽,陈爽,张晓升.基于激光诱导石墨烯的柔性传感器最新研究进展[J].功能材料与器件学报,2021,27(04):304-314. 电子皮肤器件作为其中重要的一部分,它是一种模拟 ...
- 【GAN】GAN 也可以大幅压缩,来自MIT 韩松团队的最新研究!算力消耗不到1/9,现已开源!...
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! GAN 也可以大幅压缩,MIT 韩松团队的最新研究让众多研究者们为之一振. 生成模 ...
- 再发力!Facebook AI何恺明等最新研究MoCo(动量对比学习)第二版,超越Hinton的SimCLR,刷新SOTA准确率...
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! [导读]无监督学习再发力!Facebook AI 研究团队的陈鑫磊.樊昊棋.Ros ...
- 通信技术——水下通信技术的分类、特征、应用及其最新研究进展
水下通信技术的分类.特征.应用及其最新研究进展 一.水下电磁波通信 ⒈ 水下电磁波传播特点 ⒉ 传统的水下电磁波通信 ⒊ 水下无线射频通信 ⒋ 水下电磁波通信的新进展 二.水声通信 ⒈ 水声信道的特性 ...
- 支原体最新研究进展(2022年3月)
[1]Nature:揭示支原体病原体悄悄越过人体免疫防线新机制 2018年11月28日报道,在一项新的研究中,瑞典斯德哥尔摩大学.卡罗琳斯卡研究所.澳大利亚国立大学和德国马克斯普朗克化学能转换研究所的 ...
- 新冠肺炎最新研究进展(2022年5月)
COVID-19流行病自爆发以来,不断演变进化,不同毒株的传染性.感染后的严重程度.临床结局都是人们非常关注的问题.有关的生物学标志物研究也是层出不穷,然而这些标志物种类繁多.未知程度高.机制复杂,在 ...
- 心血管疾病最新研究进展(2022年5月)
推荐阅读:<最新研究进展汇总> [1]急性心梗患者服用PCSK9抑制剂可降低斑块负荷 2022-05-07报道,PACMAN-AMI研究发现,早期使用阿利西优单抗可降低非梗死相关动脉的粥样 ...
最新文章
- Swift 中使用 SQLite——查询数据
- python打印日志
- java计算数组均值
- 深入理解了MySQL,你才能说熟悉数据库
- 规定输出字段html,控制视图输出的包装字段内容的 HTML 标签《 Drupal 7 基础 (上) 》...
- antd 下拉框怎么联动_Antd的Table组件嵌套Table以及选择框联动操作
- C语言丨函数的递归调用和递归函数
- LeetCode 104.二叉树的最大深度(递归)
- 设置宽度 seaborn barplot_Seaborn入门:详解barplot和countplot
- Jensen 不等式
- 静态测试和动态测试(面试题)
- 拆机专用磁力桌垫:保证一颗螺丝也不漏网
- 陶森大学计算机专业收入水平,2016PayScale美国大学计算机专业本科毕业生薪酬排名...
- 大厂Java八股文面试真题汇总,2022秋招必备,面试不慌
- hotmail手机端_hotmail邮箱app下载
- 云笔记+心情日记类APP推荐
- CRM:网站证书过期怎么办
- 海康威视监控摄像头大华摄像头webrtc监控低时延无插件直播页面播放毫无延迟
- 【运筹学】对偶理论总结 ( 对称性质 | 弱对偶定理 | 最优性定理 | 强对偶性 | 互补松弛定理 ) ★★★
- Qt - 添加Logo