让机器能听会说、能理解会思考还远吗?首先要实现的,就是“听”的功能。

芝麻开门!

你的童年是否也曾这样对着大门发出命令?

当然,大门用静止表示对你的“忽视”。乐此不疲的孩子还是会时不时对着门喊上几句,我们的潜意识是希望得到门有所回应,比如:门开了。

命令失效的原因是什么?因为大门本身不具备听到声音的能力,如果我们能让大门可以听到你说的话、发出的命令,进一步才可以启动语义和执行系统控制它的开关。

这就引申到本次重点介绍的技术——语音识别。本次干货分享由语音识别产品经理:@ 焦糖玛奇朵进行提供。希望能为大家打开语音识别的大门。

语音识别是一项将人类的声音信号转化为文字的过程。本文将从产品的角度对业界的语音识别产品进行归类和说明。不同的产品类型具有不同的算法或者接口特性,对应不同的需求场景。

根据识别内容的范围,语音识别的大类分列如下

1、封闭域识别:

识别范围为预先指定的字/词集合,即算法只在开发者预先设定的封闭域识别词的集合内进行语音识别,对范围之外的语音会进行拒识。因此,可以将其声学模型和语言模型进行裁剪,使得识别引擎的运算量也较小。并且可将引擎封到嵌入式芯片或者本地化的SDK中,从而使识别过程完全脱离云端,摆脱对网络的依赖,并且不会影响识别率。业界厂商提供的引擎部署方式包括云端和本地化(如:芯片,模块和纯软件SDK)。

产品类型:命令字/词识别,语音唤醒,语法识别

产品形态:流式传输-同步获取

典型的应用场景:不涉及到多轮交互和多种语义说法的场景,如简单指令交互的智能家居和电视盒子,语音控制指令一般只有:“打开窗帘”,“打开中央台”等,但是一旦涉及到程序猿大大们在后台配置识别词集合之外的命令,如“给小编这篇文章来个打赏”,识别系统将拒识这段语音,不会返回相应的文字结果,更不会做相应的回复或者指令动作。

2、开放域识别:

无需预先指定识别词集合,算法将在整个语言大集合范围中进行识别。为适应此类场景,声学模型和语音模型一般都比较大,引擎运算量也较大。将其封装到嵌入式芯片或者本地化的SDK中,耗能较高并且影响识别效果。业界厂商基本上都以云端形式提供,云端包括公有云形式和私有云形式。本地化形式只有带服务器级别计算能力的嵌入式系统,如会议字幕系统。

产品类型按照说话风格的特点,分为:

(1)语音听写:语音时长较短(<1min),一般情况下均为一句话。训练语料为朗读风格,语速较为平均。一般为人机对话场景,录音质量较好。

按照音频录入和结果获取方式定义产品形态:

(a)流式上传-同步获取,应用/软件会对说话人的语音进行自动录制并将其连续上传至云端,说话人在说完话的同时能实时地看到返回的文字。语音云服务厂商的产品接口中会提供音频录制接口和格式编码算法,供客户端进行边录制边上传,并与云端建立长连接,同步监听并获取识别结果。

(b)已录制音频文件上传-同步获取,用户需自行预先录制好规定格式的音频,并使用语音云服务厂商提供的接口进行音频上传,客户端与云端的连接和结果获取方式与上述音频流类似。

典型应用场景:应用发展已经比较成熟:主要在输入场景,如输入法;与麦克风阵列和语义结合的人机交互场景,如具备更自然交互形态的智能音响,如“叮咚叮咚,转发小编这篇文章。”,在无配置的情况下,识别系统也能够识别这段语音,返回相应的文字结果。

(2)语音转写:语音时长一般较长(五小时内),句子较多。训练语料为交谈风格,即说话人说话无组织性比较强,因此语速较不平均,吞字&连字现象较多。录音大多为远场或带噪的。

除了模型不同之外,按照音频录入和结果获取方式定义产品形态:

(a)音频流转写:流式上传-同步获取,与上述语音听写类似,唯一不同的是,识别的时长不会有一句话的限制。

(b)非实时已录制音频转写:已录制音频文件上传-异步获取,用户需自行调用软件接口或者是硬件平台预先录制好规定格式的音频,并使用语音云服务厂商提供的接口进行音频上传,上传完成之后便可以断掉连接。用户通过轮询语音云服务器或者使用回调接口进行结果获取。

由于长语音的计算量较大,计算时间较长,因此采取异步获取的方式可以避免由于网络问题带来的结果丢失。也因为语音转写系统通常是非实时处理的,这种工程形态也给了识别算法更多的时间进行多遍解码。而长时的语料,也给了算法使用更长时的信息进行长短期记忆网络建模。在同样的输入音频下,此类型产品形态牺牲了一部分实时率,花费了更高的资源消耗,但是却可以得到最高的识别率。在时间允许的使用场景下,非实时已录制音频转写无疑是最推荐的产品形态!

典型应用场景:如字幕配置,客服语音质检,UGC语音内容审查

概念厘清

1、离线VS在线

在讯飞开放平台的产品定义和较多的客户认知中,离/在线的区别在于识别过程是否需要通过云端请求,即识别引擎是在云端还是本地。而云计算中的离/在线产品的引擎都处在云端,区别在于在计算过程中,客户端是否需要与云端进行实时数据交互,即上述所述的音频流和非实时已录制音频转写。两者的定义有冲突,因此并不建议使用离/在线概念进行相关产品定义。

2、8K VS 16Khz采样率语音模型

在众多语音云服务厂商中,会根据音频采样率进行分类,从而训练出更适合各类采样率的语音模型,最典型的为8K和16K模型。原始音频信息保留越多越有利于识别率的提升,因此,16K音频采用16K语音模型,其识别率会普遍高于8K音频采用8K模型。

3、语音识别VS语义识别

语音识别是语义识别的前提基础。语音识别将声音转化成文字,语义识别提取文字中的相关信息和相应意图,通过执行模块进行相应的问题回复或者反馈动作。

结语(栗子结合了一小丢丢语义):

最后举一个栗子作为收尾:“叮咚叮咚,给小编这篇文章点个赞呗。”,在无后台配置的情况下,封闭域的语音识别系统会拒识这段语音,开放域的识别系统却能够识别这段语音,返回相应的文字结果。而现阶段的开放域语义系统在大概率情况下,还是会回复得比较生硬,并且也不会自动识别出相应的意图并做出指令。按照现有的比较通用的方法,这个功能需要使用封闭域的语义识别在后台预先配置相关答案,并且根据预先配置的信息抽取意图,再根据意图类别和槽位信息执行相应的动作——即调用微信的点赞接口(假设可以)进行相应的点赞操作。

听起来好绕呀,是不是觉得还是自己手动点个赞简单粗暴省事得多了呢?然而,一切现代人类做起来自然而然&毫不费力的动作,却都是建构在经过了亿万年的学习进化,兆亿次闭环重复练习的智人基因!而任何的人工智能技术也是需要一个巨量的数据训练和一定的演变周期。并且在所有的科技发展进程中,率先取得突破并且在应用领域产品成熟化往往都是在封闭域,亦如现在正处封闭域产品化的语义识别(如:AIUI,echo等),而语音识别的产品成熟化已经走过了封闭域到达了开放域,正在向各行各业输送人工智能的力量!

writer by 焦糖玛奇朵

editor by 1024君

附图:语音识别产品类别图

干货 | 语音识别类产品细分及其应用场景相关推荐

  1. 语音识别类产品的分类及应用场景

    前言:本文作者@焦糖玛奇朵,是我们"AI产品经理大本营"早期成员,下面是她分享的第1篇文章,欢迎更多有兴趣"主动输出"的朋友们一起加入.共同进步:) 音频由公众 ...

  2. AI技术在音乐类产品中的应用场景!

    自动标注.平滑过渡.音乐鉴权.AI创作,当AI技术应用于音乐行业为人类的精神文化与娱乐生活带来便利和更多选择时,也是一件让人激动不已的事情. 随着深度学习算法的出现.大数据和5G技术的成熟,AI人工智 ...

  3. 线下门店场景化互动类产品浅析

    2017年各大互联网及零售公司都进行了门店科技产品的布局和实施,总结起来是失败的产品属于大多数.在2018年11月份的昆明零售博览会上我也注意到了酷炫产品越来越少,务实产品越来越多,产品创新上基本属于 ...

  4. 技术交底软件_【干货分享】软件类产品如何进行专利挖掘与技术交底书撰写?...

    "导读:在很多人的认知里,软件著作权是软件著作权,专利是专利,两者并没有太多关联.甚至有的人认为,软件产品只能申请软件著作权保护,不能申请专利保护.但是,当有人抄袭你的软件设计理念,而你无法 ...

  5. 曲奇问答CEO:从产品经理的角度玩转社区类产品

    本期主题 | 曲奇问答CEO:从产品经理的角度玩转社交类产品 分享微群 |社交PM圈|PMCAFF 文字整理 | 从零到壹 入群请联系班长小黑 微信号:liyilin1263 王懿 本期嘉宾 技术出身 ...

  6. 测试人员,如何对直播类产品的直播质量进行测试呢?

    测试人员,如何对直播类产品的直播质量进行测试呢? 用户最关心的性能表现如何呢? 音视频质量测试的标准是什么呢? 真正决定未来竞争的关键,是在功能满足用户需求的前提下,提高直播软件的各项质量指标,对流畅 ...

  7. 语音识别方案 - 联想语音团队多场景实时语音文字转换方案

    [本文转载自联想乐语音论坛] 语音技术一直是人工智能的重要领域之一,其应用也日益广泛.语音技术本身也包括许多细分领域,如远场语音识别.副语言语音属性.说话人日志.声纹识别防欺骗攻击和零资源TTS等. ...

  8. HMS Core华为分析丨受众细分,多场景促进精益运营

    用户的偏好不同,对产品的需求也不一样,要想更好地培养用户粘性,就需要因人施策,精细化运营,而受众细分是精细化运营的重要方法之一.受众细分是根据用户属性和行为数据,将具有相同或类似特征的用户归为一个群组 ...

  9. 完成RPA类产品设计需要解决哪些技术问题

    放在讨论前 这里谈论RPA类产品技术前,还是要说到一些背景知识,也方便入门的朋友便于理解为什么要解决这些技术问题 首先:对于RPA类产品,它所提供的解决方案并不是范范的针对某个具体业务场景,它所需要解 ...

最新文章

  1. 聊聊redisson的DelayedQueue
  2. js html css淘宝足迹日历效果,js实现简单的日历显示效果函数示例
  3. 腾讯2020校园招聘----逆序对
  4. c#补充print(多态性问题)【C#】
  5. 控制JSP头部引入外部文件编译后在第一行
  6. matlab自考本科真题,行政管理学自考专科试题及答案
  7. WPF MediaElement循环播放
  8. 【正点原子MP157连载】 第二十四章 DAC实验-摘自【正点原子】STM32MP1 M4裸机CubeIDE开发指南
  9. 微信小程序——绘制时钟
  10. 将数据与OpenLayers结合在一起
  11. html中加入标题居中,在html标题标记中居中的div元素
  12. 浏览器下载ftp文件
  13. 从球域采样分布分析360质量评估
  14. Unity获取安卓的MAC地址问题
  15. realme有升级到android10的,RealmeX/Q将升级安卓10底层刷机包
  16. EasyX的安装与使用
  17. python音乐编程_基于python实现音乐播放器代码实例
  18. AutoCAD中程序化加载.NET程序集的方法
  19. 【计算机网络】分层结构(OSI 7层模型、TCP/TP 4层模型、5层参考模型)
  20. android go 联发科 p10,联发科P10和高通骁龙435哪个性能强?联发科P10对比高通骁龙435评测...

热门文章

  1. 【转】vue项目重构技术要点和总结
  2. http head详解
  3. 串口通信中ReadFile和WriteFile的超时详解!
  4. cpu相关信息(进程、线程、核...)
  5. (5)【整合】基于机器学习的酒店评论文本倾向性分析
  6. 留个脚印,证明我来过~!
  7. UVA11027 Palindromic Permutation【回文】
  8. HDU2075 A|B?【水题】
  9. 2015 ACM/ICPC Asia Regional Hefei Online题解
  10. Bailian1182 POJ1182 食物链【并查集】