RNN（三）在SLU中的应用

LU的主要任务是提取语义或者fillingslots，传统的解决SLU的方法包括生成模型（HMM/CFG）或者判别模型（CRF），最近RNN也开始用于SLU。

SLU的语义解析包括三个方面任务：domain detection, intent determination, and slot filling，例子如下：

对于slot filling来讲，输入是句子，输出是slot序列。

Word embeddings

词向量：使用向量的形式表示词典里的词。向量的产生可以使用NN、降维等手段实现。使用词向量来作为语义解析或者句法分析的输入，可以提升NLP的效果。

见参考文献前两个。

Short-term

没有时间反馈的神经网络称为MLP（multi-layer perception），如果需要包含短时间反馈的信息，可以使用word context window（一帧的输入考虑到前后帧的输入）。类似于：

long-term

神经网络的短时反馈可以使用时间窗加以体现，对于超过时间窗口的长时反馈，需要使用RNN这种网络结构。有两种形式的RNN网络：Elman-type RNN和Jordan-type RNN。

Elman-type RNN

上一时刻的隐层对当前时候的隐层产生影响，因此实现系统的长时反馈：

Jordan-type RNN

上一时刻的输出对当前时刻的隐层产生影响：

Lerning methods

对词向量做fine-tune

梯度下降使用一句话作为一个mini-batch

Dropout

参考文献

https://en.wikipedia.org/wiki/Word_embedding

http://licstar.net/archives/tag/word-embedding

Investigationof Recurrent-Neural-Network Architectures and Learning Methods for SpokenLanguage Understanding

RNN（三）在SLU中的应用相关推荐

特斯拉AI高管都推荐的张量工具，开源了三年后终于中顶会了！ | ICLR 2022 Oral
博雯发自凹非寺量子位 | 公众号 QbitAI 那个在GitHub标星4.3k的张量操作工具Einops,在开源三年后终于中了顶会! 这是一个统一的.通用的操作张量结构的方法,基于爱因斯坦求和约 ...
Github上Pandas,Numpy和 Scipy三个库中20个最常用的函数
首发于Datartisan数据工匠写文章 Github上Pandas,Numpy和 Scipy三个库中20个最常用的函数 Datartisan 9 个月前几个月前,我看到一篇博客中列出了 Gith ...
Shell脚本笔记（三）shell中的数学计算
shell中的数学计算一.使用方括号 #!/bin/bash a=10 b=29 c=88res=$[$a * ($c-$b)] echo $res 二.使用(()) echo $((1+9)) ( ...
[Qt教程] 第29篇 XML（三）Qt中的SAX
[Qt教程] 第29篇 XML(三)Qt中的SAX 楼主发表于 2013-5-21 22:27:59 | 查看: 615| 回复: 5 Qt中的SAX 版权声明该文章原创于Qter开源社区(ww ...
python中if语句求最大值_python 判断三个数字中的最大值实例代码
python 判断三个数字中的最大值,具体代码如下所示: #判断三个数中最大值 n1= int(input('please enter the firest number:')) n2 = int(i ...
kotlin int最大值_Kotlin程序查找三个数字中的最大值
kotlin int最大值 Input 3 integer numbers, we have to find the largest of these input numbers. 输入3个整数,我们 ...
android 界面组件,安卓开发学习周第三篇——Android中的UI组件
原标题:安卓开发学习周第三篇--Android中的UI组件在Android APP中,所有的用户界面元素都是由View和ViewGroup的对象构成的.View是绘制在屏幕上的用户能与之交互的一个对 ...
Git之（三）Git中常用命令——分支管理
三.Git中常用命令--分支管理为什么要使用分支管理? 分支就是科幻电影里面的平行宇宙,也就是当你正在电脑前努力学习Git的时候,另一个你正在另一个平行宇宙里努力学习SVN. 如果两个平行宇宙互不干 ...
c语言 100匹马编程,编程，百马百担有关问题，有100匹马，驮100担货，大马驮三担，中马驮2担，两匹小马驮一担，求大、中、小各多少匹...
编程,百马百担问题,有100匹马,驮100担货,大马驮三担,中马驮2担,两匹小马驮一担,求大.中.小各多少匹? 编程,百马百担问题,有100匹马,驮100担货,大马驮三担,中马驮2担,两匹小马驮一担, ...
向第三次世界大战中的勇士致敬
向第三次世界大战中的勇士致敬摘下发白的军帽, 献上洁素的花圈轻轻地, 轻轻地走到你的墓前: 用最挚诚的语言, 倾诉我那深深的怀念. 北美的百花盛开了, 又雕残, 我们在这里战斗了一年又一年. 明天 ...

RNN（三）在SLU中的应用

Word embeddings

Short-term

long-term

Elman-type RNN

Jordan-type RNN

Lerning methods

参考文献

RNN（三）在SLU中的应用相关推荐

最新文章

热门文章

RNN（三） 在SLU中的应用

Word embeddings

Short-term

long-term

Elman-type RNN

Jordan-type RNN

Lerning methods

参考文献

RNN（三） 在SLU中的应用相关推荐

最新文章

热门文章

RNN（三）在SLU中的应用

RNN（三）在SLU中的应用相关推荐