语音唤醒技术的原理是什么?
https://www.toutiao.com/a6644766450860950024/
2019-01-10 15:27:29
“天猫精灵。”“哎,在的,你说”
“小爱同学,定明天早上8点的闹钟。”“好的,已经帮你定好明天早上8点的闹钟”
不少同学家里都有AI智能音箱产品,例如天猫精灵、小爱同学、小度等等。这些智能音箱不仅便捷了我们的日常生活,也因为他们或机智或逗比的回答,给用户带来了不少欢乐。
这些智能产品中的一项重要的AI能力,就叫做语音唤醒。
首先,设备开启并自动加载好资源,这时它处于休眠状态。然后,当用户说出特定的唤醒词时,设备就会被唤醒,切换到工作状态等待用户接下来的指令。
这一过程中用户不需要用手接触,直接可以用语音进行操作,同时利用语音唤醒的机制,设备不用实时地处于工作的状态,从而节省能耗。
语音唤醒的应用领域比较广泛,例如机器人、手机、可穿戴设备、智能家居、车载等。几乎很多带有语音功能的设备,都会需要语音唤醒技术作为人和机器互动的一个开始或入口。不同的产品会有不同的唤醒词,当用户需要唤醒设备时需要说出特定的唤醒词。
定义
语音唤醒在学术上被称为keyword spotting(简称KWS),吴老师给它做了一个定义:在连续语流中实时检测出说话人特定片段。
这里要注意,检测的“实时性”是一个关键点,语音唤醒的目的就是将设备从休眠状态激活至运行状态,所以唤醒词说出之后,能立刻被检测出来,用户的体验才会更好。
那么,该怎样评价语音唤醒的效果呢?通行的指标有四个方面,即唤醒率、误唤醒、响应时间和功耗水平:
➤唤醒率,指用户交互的成功率,专业术语为召回率,即recall。
➤误唤醒,用户未进行交互而设备被唤醒的概率,一般按天计算,如最多一天一次。
➤响应时间,指从用户说完唤醒词后,到设备给出反馈的时间差。
➤功耗水平,即唤醒系统的耗电情况。很多智能设备是通过电池供电,需要满足长时续航,对功耗水平就比较在意。
语音唤醒的技术路线
经过长时间的发展,语音唤醒的技术路线大致可归纳为三代,特点如下:
第一代:基于模板匹配的KWS
训练和测试的步骤比较简单,训练就是依据注册语音或者说模板语音进行特征提取,构建模板。测试时,通过特征提取生成特征序列,计算测试的特征序列和模板序列的距离,基于此判断是否唤醒。
第二代:基于HMM-GMM的KWS
将唤醒任务转换为两类的识别任务,识别结果为keyword和non-keyword。
第三代:基于神经网络的方案
神经网络方案又可细分为几类,第一类是基于HMM的KWS,同第二代唤醒方案不同之处在于,声学模型建模从GMM转换为神经网络模型。 第二类融入神经网络的模板匹配,采用神经网络作为特征提取器。第三类是基于端到端的方案,输入语音,输出为各唤醒的概率,一个模型解决。
语音唤醒的难点
语音唤醒的难点,主要是低功耗要求和高效果需求之间的矛盾。
一方面,目前很多智能设备采用的都是低端芯片,同时采用电池供电,这就要求唤醒所消耗的能源要尽可能的少。
另一方面,用户对体验效果的追求越来越高。目前语音唤醒主要应用于C端,用户群体广泛,且要进行大量远场交互,对唤醒能力提出了很高要求。
要解决两者之间的矛盾,对于低功耗需求,我们采用模型深度压缩策略,减少模型大小并保证效果下降幅度可控;而对于高效果需求,一般是通过模型闭环优化来实现。先提供一个效果可用的启动模型,随着用户的使用,进行闭环迭代更新,整个过程完成自动化,无需人工参与。
语音唤醒的典型应用
语音唤醒的应用领域十分广泛,主要是C端产品,比如机器人、音箱、汽车等。比较有代表性的应用模式有如下几种:
➤传统语音交互:先唤醒设备,等设备反馈后(提示音或亮灯),用户认为设备被唤醒了,再发出语音控制命令,缺点在于交互时间长。
➤One-shot:直接将唤醒词和工作命令一同说出,如“叮咚叮咚,我想听周杰伦的歌”,客户端会在唤醒后直接启动识别以及语义理解等服务,缩短交互时间。
➤Zero-shot:将常用用户指定设置为唤醒词,达到用户无感知唤醒,例如直接对车机说“导航到科大讯飞”,这里将一些高频前缀的说法设置成唤醒词。
➤多唤醒:主要满足用户个性化的需求,给设备起多个名字。
➤所见即所说:新型的AIUI交互方式,例如用户对车机发出“导航到海底捞”指令后,车机上会显示“之心城海底捞”“银泰城海底捞”等选项,用户只需说“之心城”或“银泰城”即可发出指令。
语音唤醒技术的原理是什么?相关推荐
- 国内那几家语音唤醒技术做的比较好? 语音唤醒技术哪家强?
编辑导语: 随着语音交互技术的日渐成熟,越来越多的智能硬件都选择增加语音能力作为产品卖点之一.但是,设备在进入语音交互工作状态的时候,需要先进行唤醒操作. 常见的唤醒语音交互的操作有按键或者触屏形式, ...
- 说话就能轻松操控,科大讯飞语音唤醒技术带来便利体验!
如果,紧箍咒失灵了,孙悟空还会听唐僧的话吗? 如果,专注驾驶途中,一声呼唤便可响应需求是否很方便? 如果,手机落在卧室的某个角落,轻轻唤醒便能找到是否心情舒畅? 现实生活中的这一切,都可以通过语音唤醒 ...
- 语音唤醒的具体技术方案
\qquad昨天的文章说的是不同的语音激活检测技术,传送门今天要说的是这个技术中间的具体的语音唤醒技术.语音唤醒技术到目前已经经过了三代的发展了. 第一代的技术很好理解,就是先构建一些模板,然后遇到语 ...
- html5 语音唤醒,语音交互:从语音唤醒(KWS)聊起
编辑导语:随着手机的逐渐智能化,越来越多的手机只要听到指令就会帮助主人完成一些任务,这就是语音唤醒功能.本文作者围绕语音唤醒功能,从其应用有哪些.工作原理是什么.怎样训练一个唤醒模型.如何测试等方面展 ...
- 语音唤醒真香警告,轻松开启与Siri、小度和小爱的畅聊
"Hey Siri,给我讲个故事吧",这时Siri熟悉的机械女声从你手机传出,娓娓讲述起一段故事. "Hey Siri"是iOS8中新添加的唤醒Siri的方式, ...
- 语音识别中唤醒技术调研
上篇博客(语音识别传统方法(GMM+HMM+NGRAM)概述)说到我们team要做语音识别相关的项目,而我们公司的芯片是用在终端上的,即我们要做终端上的语音识别.由于目前终端(如手机)上的CPU还不足 ...
- 语音认别---唤醒技术KWS介绍
语音认别---唤醒技术KWS介绍 由于目前终端(如手机)上的CPU还不足够强劲,不能让语音识别的各种算法跑在终端上,尤其现在语音识别都是基于深度学习来做了,更加不能跑在终端上,所以目前主流的语音识别方 ...
- 【飞桨PaddleSpeech语音技术课程】— 语音唤醒
(以下内容搬运自飞桨PaddleSpeech语音技术课程,点击链接可直接运行源码) 1. KWS 概述 随着人工智能的飞速发展,市场上推出了各式各样的智能设备,AI 语音的发展更是使得语音助手成为各大 ...
- Skype Translator实时语音翻译技术原理
[IT168 评论]近日,微软正式宣布在中国市场推出Skype Translator实时语音翻译技术的中文预览版.对于英文不好的小伙伴们,这无疑是个利好,从此中英文沟通无障碍. Skype Trans ...
最新文章
- 谁是李党生?带领中国本土期刊登上国际C位,施一公说他眼光很毒辣
- Android第三十一期 - 市面上所有引导页的效果
- c语言题目集-田队写长单词
- AutoHotkey纯命令获取Chrome等浏览器的当前网址
- U-Boot 启动过程笔记
- 远程桌面mstsc /console(/admin) 的运用
- my batis plus 小数没有0_Excel中的数据去掉小数点,教你3个函数解决!
- k8s ready 不调度_从零开始学K8s: 10.在K8s上运行应用
- MySQL提供了以下三种方法用于获取数据库对象的元数据
- kotlin之plus、copyOf、reverse、forEach、filter、map、reduce、fold等函数解释和使用
- LeetCode 696. Count Binary Substrings
- mysql取值范围1-10_MySQL字段的取值范围
- 《c++语言导学》——1.3 Hello,World!
- HDD + HDD(SSD) 多硬盘系统启动问题
- 手机修改ntp服务器地址,手机修改ntp服务器ip地址
- 微信小程序二手交易系统ssm框架
- 无法更改硬件兼容性时解决“虚拟机使用的是此版本 VMware Workstation 不支持的硬件版本”的方法
- C语言中不同类型之间的混合运算
- linux系统u盘安装教程图解教程,使用U盘安装Ubuntu的详细图文教程
- VS2010如何安装MSComm控件
热门文章
- cesium中限制地图浏览范围
- PyGobject(十九)布局容器之Alignment
- lidatr2rosbag工具包,KITTI数据转换ros bag文件
- Android系统中如何得到各种格式的文件正文(office文件,PDF,邮件,html,zip等)
- Frida Internal - Part 1: 架构、Gum 与 V8
- c语言中val是什么函数,val(val是什么意思)
- 中国绿色PPP项目行业现状及发展建议:投资规模不断扩大,需要改善存在的问题,进一步推动绿色PPP健康发展[图]
- NB-IOT电信云北向开发,电信天翼物联网平台对接应用服务
- openstack-M版,学习笔记六
- 弹性裸金属服务器EBM