语音论文优选：口语理解A Streaming End-to-End Framework For SLU

声明：语音论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

A Streaming End-to-End Framework For Spoken Language Understanding

本文为滑铁卢大学在2021.05.20更新的文章，主要做流式口语理解的工作，具体文章链接https://arxiv.org/pdf/2105.10042.pdf

1 背景

我们先看一下具体的语音交互的系统的整个流程：speech->ASR->NLU->NLG->TTS->speech。该流程的每个模块将会独立训练，因此ASR的错误将会被后续的模块逐渐积累放大，常用的做法就是在ASR之后添加纠错系统。而另一种的方法就是Spoken Language Understanding，直接从speech中获取意图，目前研究较热的是end-to-end的SLU，但该模型需要较长的latency，因此本文提出基于streaming的end-to-end SLU，其准确率与现有的end-to-end的SLU相当，但latency较小。

2 详细的设计

图1展示了传统的SLU,end-to-end SLU和本文的streaming end-to-end SLU。其中本文的streaming end-to-end SLU可以增量式识别意图和识别多意图。其中streaming end-to-end SLU的架构如图2所示:ULSTMP +CTC。具体的streaming end-to-end SLU和end-to-end SLU的区别如图3所示，end-to-end SLU需要获取整个句子才可以识别意图，而streaming end-to-end SLU是增量式的识别意图。

3 实验

本文主要对比三个实验：单意图识别，多意图识别和语音关键词发现。table 1在单意图实验对比现有 end-to-end SLU和streaming end-to-end SLU的性能，由此可以本文streaming end-to-end SLU准确率与end-to-end SLU相当，但latency较小。table2是多意图测试，该测试是streaming end-to-end SLU在不同训练集和测试集上测试，横轴是测试集，纵轴为训练集。table3为语音关键词发现实验，效果与现有的方案性能相当。

4 总结

本文主要提出了streaming end-to-end SLU，直接从speech中获取意图，减少了ASR错误累计，而且latency较小。

语音论文优选：口语理解A Streaming End-to-End Framework For SLU相关推荐

基线理解_使用递归神经网络的上下文口语理解论文阅读
前言论文原标题为:CONTEXTUAL SPOKEN LANGUAGE UNDERSTANDING USING RECURRENT NEURAL NETWORKS 如果有哪些地方翻译的不对,或者有哪 ...
语音信号处理（DSP）论文优选：Interactive Modeling for Speech Enhancement
声明:语音合成(TTS)论文优选系列主要分享论文,分享论文不做直接翻译,所写的内容主要是我对论文内容的概括和个人看法.如有转载,请标注来源. 欢迎关注微信公众号:低调奋进 Interactive Sp ...
语音信号处理（DSP）论文优选：提取音频pitch方法对比Performance Analysis of Several Pitch Detection Algorithms
声明:语音信号处理(DSP)论文优选系列主要分享论文,分享论文不做直接翻译,所写的内容主要是我对论文内容的概括和个人看法.如有转载,请标注来源. 欢迎关注微信公众号:低调奋进 Performance ...
【综述】对话系统中的口语理解技术
1. 基本介绍对话系统中的口语理解技术一般称为NLU(natural language understanding),或SLU(spoken language understanding).NLU的 ...
语音合成（TTS)论文优选：Accent and Speaker Disentanglement in Many-to-many Voice Conversion
声明:语音合成(TTS)论文优选系列主要分享论文,分享论文不做直接翻译,所写的内容主要是我对论文内容的概括和个人看法.如有转载,请标注来源. 欢迎关注微信公众号:低调奋进 Accent and Spe ...
语音合成（TTS)论文优选：End-to-End Code-Switching TTS with Cross-Lingual Language Model
声明:语音合成(TTS)论文优选系列主要分享论文,分享论文不做直接翻译,所写的内容主要是我对论文内容的概括和个人看法.如有转载,请标注来源. 欢迎关注微信公众号:低调奋进 End-to-End Cod ...
语音合成论文优选：Flavored Tacotron: Conditional Learning for Prosodic-linguistic Features
声明:语音合成论文优选系列主要分享论文,分享论文不做直接翻译,所写的内容主要是我对论文内容的概括和个人看法.如有转载,请标注来源. 欢迎关注微信公众号:低调奋进 Flavored Tacotron: ...
语音合成论文优选：唇语Speaker disentanglement in video-to-speech conversion
声明:语音合成论文优选系列主要分享论文,分享论文不做直接翻译,所写的内容主要是我对论文内容的概括和个人看法.如有转载,请标注来源. 欢迎关注微信公众号:低调奋进 Speaker disentangle ...
群智大数据：感知、优选与理解
摘要:移动群智感知是一种新的大规模感知模式,它利用随身携带的智能移动终端(智能手机.可穿戴设备等)形成大规模.随时随地且与人们日常生活密切相关的感知系统.通过广大用户参与获取的感知数据具有多模态.富内 ...

语音论文优选：口语理解A Streaming End-to-End Framework For SLU

语音论文优选：口语理解A Streaming End-to-End Framework For SLU相关推荐

最新文章

热门文章