论文阅读（五）：Review of Research on Task-Oriented Spoken Language Understanding

新年快乐呀~~
过完年之后又要开始学习啦，因为我还有一个课的作业是要写一个综述，所以最近会经常看与任务型对话相关的综述或文章啦~
今天分享的是针对任务型对话中SLU任务的一篇综述，提取感谢各位批评指正啦~

Review of Research on Task-Oriented Spoken Language Understanding（综述）

论文主要内容（包含创新点以及不足）

任务型对话的基本流程（跟我了解到的分类有一点点不一样，为了保持一致我还是按照之前我的分类方法啦），本文主要是介绍SLU的，主要介绍了SLU下两个关键子任务，分别是意图识别和槽填充，意图识别是分类任务，槽填充类似命名实体识别。
主要介绍了解决这两个子任务的方法以及发展过程
- 从传统方法到深度神经网络方法
- 从两个任务的独立模型到联合模型（因为考虑到意图识别和槽填充之间有相互依赖的关系）
独立模型
- 槽填充：传统方法有三种，主要是基于词典的方法（字符串匹配，但是没有完整的实体库，且耗时）、基于规则的方法（词汇、句法、语义规则，但是需要制定规则，成本高且不易改变）、统计方法（多重迭代损失函数调整参数，需要人工标注的数据和人工构造特征），但是效果不如DNN好；DNN方法主要有CNN、RNN及其变体
- 意图识别：传统方法主要是SVM、NB、Adaboost等方法；DNN方法也是CNN、RNN等，也可用两者结合的方法，这里的输入有两种形式，一种是将语篇中所有词的平均向量作为输入，一种是将每个词的向量作为输入
联合模型
- 三角链-CRF联合模型，采用级联的方法，前者的结果可以作为先验知识，帮助产生后者的结果。这是传统机器学习的方法，虽然有助于联合识别，但是耗时费力，且需要语料库充足。
- CNN-TriCRF联合模型，CNN用于提取文本特征，该特征向量由两个任务共享，TriCRF用于归一化将意图识别任务中全部文本，考虑全局信息结果更准确，可以找全局最优解。与传统方法相比，训练参数更多，模型更加复杂。
- 门控循环单元联合模型，使用GRU和CNN联合解决两个任务，用GRU学习预测槽填充的标签，同时用最大池化捕获意图分类的全局特征。性能有提升但是也有很多问题，对意图识别，最大池化的方法会导致信息丢失，应该获取更高层次的语法和语义信息去实现意图识别。
- BiLSTM-Attention联合模型，用注意力机制捕获隐藏层无法捕获的额外信息，h和c都是两个任务的输入，加入了Attention，可以注意到不同的输入序列对输出的影响。但是也有缺点，对意图识别，简单的取最大值会丢失信息熵；对槽填充，没有考虑到输出序列的全局归一化，易出现偏差。
- 基于注意力的slot-gated联合模型，BiLSTM-Attention并没有说明两个任务的相互作用，因此加入了slot-gated。（这个设计好巧妙）
未来改进
- 目前对大规模语料效果还可以，对小规模不行，如何进行迁移学习
- 深度神经网络模型需要学习更好的语法和语义信息，否则模型会很复杂
- 用注意力机制效果会变好，但是因为要考虑到其他时序的信息，模型会更复杂，可以用强化学习训练文本特征，达到简化学习的目的。

学到的点

对SLU和下面两个子任务（意图识别和槽填充）有了更深的了解

不懂的点

综述里提到的一些方法的原理和模型结构还不是特别了解，需要继续看

论文阅读（五）：Review of Research on Task-Oriented Spoken Language Understanding相关推荐

【论文阅读】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
文章目录论文内容摘要(Abstract) 1. 介绍(Introduction) 2. 相关工作(略) 3. BERT 3.1 预训练BERT(Pre-training BERT) 4. 个人总结 ...
BERT(一)--论文翻译：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
转载请注明出处:https://blog.csdn.net/nocml/article/details/124860490 传送门: BERT(一)–论文翻译:BERT: Pre-training o ...
论文导读：TOWARDS END-TO-END SPOKEN LANGUAGE UNDERSTANDING
这篇文章是来自大神Yoshua Benjio的,值得一读,研究对象是只基于语音spoken,而非文字的自然语言理解,链接在这. 0. Abstract 大概说了一下什么是NLU, 然后说他们的end- ...
生物信息学之抗癌药物反应论文阅读五：L1000+DTI
论文地址:Drug–target interaction prediction with a deep-learning-based model 基于深度学习的药物-靶标相互作用预测作者信息: Li ...
【论文阅读笔记】BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translati
BART:去噪序列到序列的预训练自然语言生成.翻译和理解动力自监督方法在广泛的NLP任务中取得了显著的成功.最成功的方法是masked language model的变体去噪的自编码器.训练去噪的 ...
论文阅读（XiangBai——【CVPR2017】Detecting Oriented Text in Natural Images by Linking Segments）...
XiangBai--[CVPR2017]Detecting Oriented Text in Natural Images by link Segments 目录作者和相关链接方法概括方法细节 ...
论文阅读笔记：Jointly Discovering Visual Objects and Spoken Words from Raw Sensory Input
文章目录摘要一.背景二.模型三.实验论文地址:https://arxiv.org/abs/1804.01452 代码:https://github.com/LiqunChen0606/Joi ...
论文阅读（一）：Hierarchical LSTM for Sign Language Translation
Abstract SLT (Sign Language Translation) 手语翻译 CTC (Connectionist temporal classification) 连接主义时间分类 l ...
【论文阅读】正则表达式也可以被当成神经网络训练吗？[附项目代码与代码详细说明]
论文标题: Cold-Start and Interpretability: Turning Regular Expressions into Trainable Recurrent Neural N ...

论文阅读（五）：Review of Research on Task-Oriented Spoken Language Understanding

Review of Research on Task-Oriented Spoken Language Understanding（综述）

论文主要内容（包含创新点以及不足）

学到的点

不懂的点

论文阅读（五）：Review of Research on Task-Oriented Spoken Language Understanding相关推荐

最新文章

热门文章