智能织物也会机器学习?你的可穿戴设备体验可以更进一层
文 / 研究员 Alex Olwal,Google Research
纺织品可以通过提升设计感、人体工程学体验、改善舒适度,帮助我们将技术融入到生活环境和日用品中。一些消费类设备已经开始通过将这些特殊材质结合到智能音箱和耳机线中来利用这一机遇,而材料和柔性电子器件领域取得的进展也使将传感器和显示装置嵌入柔软衣物(例如夹克、裙子和毛毯)成为可能。
具备嵌入式触摸感应、手势识别和视觉反馈功能的可扩展交互式智能织物架构
在《智能织物微互动》(E-textile Microinteractions)(ACM CHI 2020 会议提出)中,我们将交互性融入柔软的设备,并展示了机器学习 (ML) 如何与交互式织物相结合,从而实现离散和连续手势的并行使用。这项研究拓展了之前推出的智能织物架构(ACM UIST 2018 会议提出)的用途。研究围绕绳线展开,因为它可用作服装的拉绳,也可以作为各类设备和电源的连接线。借助纺织品的编织技术,我们使用重复矩阵拓扑方法将手势感应和视觉反馈功能集成到织物表面。
智能织物微互动
https://dl.acm.org/doi/abs/10.1145/3313831.3376236智能织物架构
https://dl.acm.org/doi/abs/10.1145/3242587.3242638
了解其中原理,请观看视频:
智能织物微互动的视频
有关织物架构的视频
将连续感应与离散和握紧动作相结合的智能织物微交互
了解更多,请观看我们今年 TensorFlow Dev Summit 上的介绍:
螺旋感应矩阵 (HSM)
编织一般是指用三股或更多股原料进行对角交织。尽管编织在传统上更注重美观和结构完整性,但也可用于实现传感和显示功能。
鉴于细绳可以通过电容感应来检测基本触摸手势,我们开发了一种 螺旋感应矩阵 (Helical Sensing Matrix,HSM),以实现更大的手势空间。HSM 是一种线状编织物,采用绝缘导电纺织纱线和纱线支撑而制成,其中位置相对的纱线具备 传输 和 接收 电极的作用,由此便可实现手动电容感应。HSM 交叉位置的电容耦合由用户的手指进行调节,由于这种编织模式在整条细绳上不断重复,所以在细绳上的任何位置都可以感应到这些交互。
左:基于 4×4 线状编织物(核心四周围绕了 8 根导电线)的螺旋感应矩阵。洋红色/蓝绿色的是导电纱线,发挥接收/传输作用。灰色的是纱线(棉质);中:矩阵横截面图,展示了无数个 4×4 矩阵 (彩色圆圈 0-F),这种模式在整条细绳上重复;右:黄色的是光纤线,负责提供视觉反馈
旋转检测
一个重要规律是 HSM 中的两个轴向柱共用一组电极(并在矩阵横截面图中以彩色标出),这两个轴向柱在彼此的正对面。因此,捏和旋转细绳会激活一组电极,我们可借此追踪这些轴向柱的相对运动。旋转检测可识别随时间变化的正弦信号集(90º 抵消)的当前相位。线状编织物结构使用户能够在任意位置进行旋转,还可使用一小组电极进行扩容。
旋转角度可以从轴向柱的水平手指运动推断得出:下方的平面图展示了相对电容信号强度,该强度会随着手指间的距离而变化
交互技术和设计准则
智能织物结构使细绳具备触摸感应能力,但与刚性触摸表面相比,其柔软性和可延展性限制了适当的交互。考虑使用这种独特材料时,我们的设计准则强调:
手势简单。我们要设计简短交互,用户要么做出单一的离散手势,要么进行持续控制。
闭环反馈。我们想帮助用户发掘功能,并从他们的操作中获得持续反馈。条件允许时,我们会在设备中集成视觉、触觉和听觉反馈。
根据以上原则,我们利用智能织物架构,凭借感应距离、面积、接触时间、旋转和压力的能力打造交互技术。
智能织物可根据距离、接触区域、接触时间、旋转和压力的电容感应实现交互
如果细绳包含可显示不同强度颜色的光纤线,则能为用户提供实时动态反馈。
编织光纤线可给人造成定向运动的错觉
动作手势和抓握手势
我们开展了手势触发调查,发现了扩展手势集的机会。受这些结果的启发,我们决定研究五种动作手势,包括轻弹和滑动,以及单点触摸手势(捏、抓和拍)。
针对设想的触摸感应方式的手势触发研究
我们收集了 12 位新参与者的数据,共得到 864 个手势样本(每人各做八个手势,重复九次),每个样本有 16 个特征,随时间线性插值得到 80 个观察结果。参与者按自己的风格做八个手势(不提供反馈),这是因为我们想要适应个体差异,毕竟分类高度依赖于用户风格(“接触”)、偏好(“捏/抓的方式”)和个体差异(如手掌大小)。为此,我们专门为依赖于用户的训练设计了流水线,以便涵盖不同参与者之间的个体风格差异,例如对顺时针/逆时针的使用不一致、表示时间的手势中存在重叠(例如,轻弹与轻弹和握住,以及类似的捏和抓手势)。对于不依赖用户的系统,我们需要解决如下差异:更严格的一致性说明,来自更大人群的数据,以及更多样化的环境等。训练期间的实时反馈将有助于减少差异,因为用户会学习调整其行为。
十二位参与者(横轴)重复做出 九 次(动画)八种手势(纵轴)。每个子图像显示 16 个重叠特征向量,随时间插值得到 80 个观察结果
我们利用八次重复进行训练,并利用剩下的一次进行测试,从而对每位用户的手势进行交叉验证。经过九次排列,实现了约 94% 的手势识别准确率。这个结果令人鼓舞,特别是在考虑到如此低分辨率的传感器矩阵(八个电极)能够实现的表达度的情况下。
这里值得注意的是,重复传感矩阵中的内在关系非常适用于机器学习分类。我们研究中使用的 ML 分类器可对有限数据进行快速训练,使依赖于用户的交互系统具备可行性。根据我们的经验,训练典型手势所花的时间不到 30 秒,这相当于训练指纹传感器所需的时间。
不依赖用户的连续扭转:量化精度和速度
根据用户特征训练的手势识别生成了八种新的离散手势。对于连续交互,我们还想量化 不依赖用户的 连续扭转在精细任务上的表现。我们使用两种基准比较智能织物,一种是电容式多点触控触摸板(“滚动”)以及熟悉的耳机线远程控制(“按钮”)。我们设计了一个实验室研究,使用上述三种设备在目标任务中控制一维运动。
我们分析了 1800 次试验的三个因变量,涵盖 12 位参与者和三项技巧:任务耗时(毫秒)、总动作以及试验结束时的动作。参与者还通过排序和评论提供了定性反馈。
我们的定量分析表明,智能织物的扭转速度比现有耳机按钮控制快,与触摸表面的速度相当。定性反馈还表明,相比于耳机控制,参与者更喜欢智能织物交互。
左:经过加权平均处理的主观反馈。我们将李克特 7 点量表映射成 [-3, 3] 范围内的分数,并乘以技巧得到该评分的次数,然后计算所有得分的平均值。右:目标距离的平均完成时间显示按钮的速度一直较慢
考虑到与刚性输入设备相比,我们的智能织物更加灵敏,这些结果就格外有趣。表达性或许能够解释这些结果。用户可以快速或缓慢地扭转细绳的任意位置,这些操作对称且可逆。耳机上的传统按钮需要用户找到对应位置,并且需要为了进行操作而改变握法,此限制会增加按错按钮的成本。我们使用高通滤波器限制偶然的皮肤接触,但还需进行后续工作以强化稳健性,并评估实际使用时的长期效果。
手势原型:耳机、卫衣拉绳和音箱线
我们设计了不同的原型以展示智能织物架构的功能:控制手机上媒体播放的智能织物 USB-C 耳机、带有隐形音乐控制功能的连帽衫拉绳;智能音箱的手势控制交互线。
左:单击 = 播放/暂停;中:双击 = 下一首;右:滚动 = 音量 +/-
同时使用连续(扭转/旋转)和离散手势(捏/拍)来控制音乐播放的交互式音箱线
结论和未来方向
我们引入交互式智能织物架构来实现嵌入式传感和视觉反馈,它可在紧凑的织物外形中实现精确的小规模和大规模动作。
借助此项研究,我们希望推动织物用户界面的发展,促进微互动在未来穿戴式界面和智能织物领域的应用,打造无需注视就能实现操控的交互方式,让随意、紧凑和高效的输入造福用户。我们希望智能织物在保持设计感和人体工程学体验的同时,能启发研究人员借助可扩展技术增强实体物品的功能。
致谢
此项研究由 Google 多个团队合作开展。本项目的主要贡献者包括 Alex Olwal、Thad Starner、Jon Moeller、Greg Priest-Dorman、Ben Carroll 和 Gowa Mainini。感谢 Google ATAP Jacquard 团队与我们合作,尤其要感谢 Shiho Fukuhara、Munehiko Sato 和 Ivan Poupyrev。特别感谢 Google Wearables,以及 Kenneth Albanowski 和 Karissa Sawyer。最后,我们要感谢 Mark Zarich 提供配图,感谢 Bryan Allen 提供视频,感谢 Frank Li 帮助处理数据,感谢 Mathieu Le Goc 提供宝贵意见,感谢 Carolyn Priest-Dorman 在编织物方面提供建议。
智能织物也会机器学习?你的可穿戴设备体验可以更进一层相关推荐
- 智能360度业务数据管理, 新视角重塑新体验!
7月悄然而至,战"疫"进入下半场,数字商务及线上消费因疫情逆风上扬,获得了业务量.用户数量与成交额的大幅上升.因此,对于零售.电商和营销人员来说,如何抓住"后疫情&quo ...
- 蓝牙技术|智能可穿戴设备中的蓝牙BLE芯片
1975 年,第一块计算器手表问世,智能可穿戴设备开始进入我们的生活.随着技术的发展,越来越多的智能可穿戴设备出现在我们的生活中,比如智能手环.智能眼镜.智能织物等. 这些智能可穿戴设备可以让人们更加 ...
- 基于织物的生物电池可以为未来的可穿戴设备提供动力
来源: 太平洋电脑网 导读: 宾厄姆顿大学的研究人员已经开发出一种纺织生物电池,可以作为未来可穿戴电子产品的基础. 宾厄姆顿大学的研究人员已经开发出一种纺织生物电池,可以作为未来可穿戴电子产品的基 ...
- 智能骨传导眼镜vue_穿戴设备迎新机遇,智能音频眼镜或将是下一个风口
智能音频市场从耳机.智能音箱发展到现在的真无线耳机.带屏智能音箱.智能音频眼镜等,产品形态越来越多元化,使用场景涵盖了我们娱乐体验的看.听和互动层面,并且还有持续上升的趋势.而随着TWS耳机的火热,智 ...
- 智能可穿戴平台,你更看好谁?
随着可穿戴设备大潮来袭,众巨头纷纷布局可穿戴.6月,苹果发布了Healthkit平台,谷歌则发布了AndroidWare平台,日前,腾讯(微信)的智能硬件计划曝光.前两者从系统层面出发,都希望自己成为 ...
- 新型智能芯片防伪印章设备_思格特智能印章管理系统成功签约山东问童动力设备公司...
山东问童动力设备有限公司是一家专业从事柴油发电机组研发.设计.生产.销售维保一体化的生产型企业.公司主要生产.经营陆用柴油机,发电机组,船用柴油发电机组,离合器机组,水泵机组,可以根据用户的不同需求配 ...
- 西安力邦智能医疗amp;可穿戴设备沙龙--第1期---苹果HealthKit、谷歌GoogleFit来袭,智能医疗要爆发吗?...
背 景: "可穿戴设备"成为2014的行业热点,从Google Glass到苹果iWatch, 越来越多的企业推出了包含眼镜.腕带.鞋等各种可穿戴设备,"可穿戴&q ...
- 三星智能手表取得快速增长,华为和小米则以低价穿戴设备取胜
市调机构Strategy Analytics发布的三季度数据显示,三星的智能手表出货量大幅增长83.3%,不过在排名上则滑落至第三名:此前IDC发布的二季度穿戴设备市场份额排名显示三星不入前五名,小米 ...
- 智能耳机测试软件,智能可穿戴设备有哪些?解析可穿戴设备的作用和测试
智能可穿戴设备顾名思义即能穿戴在身上或是整合到衣服上的一种便携式产品,主要通过软件支持和数据交互来实现各种功能,大都具备计算能力,可连接手机.平板实现云端交互.数据共享. 智能可穿戴设备市场有着巨大的 ...
最新文章
- Redis Sentinel集群部署
- GTS--阿里巴巴分布式事务全新解决方案
- gdbstub中的基本命令_GDB常用命令使用说明(一)
- python对文件操作的统一步骤_基于Python实现对各种数据文件的操作
- 大数据环境搭建之hadoop完全分布式搭建
- 使用maven官方仓库直接下载项目需要的jar包方法
- 项目中的门禁管理者贾维斯———关于 Shiro 框架的 基本使用和基础配置,以及工作流程的生动解释
- 什么是3D建模?用到哪些软件?
- Java基础视频教程(2020年最新)
- 怎么让计算机文件格式显示,已知文件类型的扩展名如何设置显示与隐藏?
- poi怎么设置某个单元格为下拉框_java excel 多选下拉列表设置
- linux用户管理(1)----创建用户(adduser和useradd)和删除用户(userdel)
- 凸函数二阶条件的理解及常见函数解析
- 卸载linux 装win7系统软件,win7与ubuntu双系统完美卸载ubuntu的方法
- 数字图像处理:(2)一阶微分和二阶微分在数字图像处理中的应用
- 微信小程序|基于小程序实现人脸数量检测
- 伦敦银和现货白银换算
- 「 LaTex 」写论文,插入序号(分论点)方法
- 拷贝信息到usim卡
- Windows XP Embedded (XPE)开发工具、升级包、中文包等微软官方下载地址
热门文章
- SAS笔记#描述性统计分析#描述性统计量
- 体验百度EasyEdge,畅快部署超多AI芯片
- 学java对笔记本配置有何要求_java程序员应该配置什么样的笔记本
- 【Python搞搞轻量Blog】第一发 Flask入门
- 大麦演唱会为什么总抢不到票?抢票完整教程、详细步骤
- 线性代数中矩阵的秩, 行列式, 矩阵向量组线性无关, 矩阵可逆之间的一些逻辑关系
- 世界标准时间yyyy-MM-dd‘T‘HH:mm:ss.SSSXXX详解
- xp计算机远程桌面设置密码,win7远程桌面连接xp 图解win7远程管理xp桌面
- 配置springboot jsp页面跳转
- IDEA 中集成 SVN及使用教程