序列模型与注意力机制总结

1.翻译即有条件的语言模型

2.1beam search 参数B

2.2 beam search 的概率表达式

2.3 在扩展一次

3.beam search 改进，

修改评价函数为 log，同时做normalization时，增加一个超参。

4.Beam width B

5. 误差分析

比较 beam search 跟 rnn 引起误差的比例

6.Bleu score

7.1注意力模型，即增加跟距离有关的weight矩阵。（增加词距的影响）

weight 会受到双向 a<t>以及前一个s的影响。

7.2weight公式

7.3

8.CTC

9.改善0跟1标签分布不均匀的方式。

序列模型与注意力机制总结相关推荐

一文读懂序列建模（deeplearning.ai）之序列模型与注意力机制
https://www.toutiao.com/a6663809864260649485/ 作者:Pulkit Sharma,2019年1月21日翻译:陈之炎校对:丁楠雅本文约11000字,建议 ...
深度学习笔记第五门课序列模型第三周序列模型和注意力机制
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...
05.序列模型 W3.序列模型和注意力机制（作业：机器翻译+触发词检测）
文章目录作业1:机器翻译 1. 日期转换 1.1 数据集 2. 用注意力模型进行机器翻译 2.1 注意力机制 3. 可视化注意力作业2:触发词检测 1. 数据合成:创建语音数据集 1.1 听一下数 ...
05.序列模型 W3.序列模型和注意力机制
文章目录 1. 基础模型 2. 选择最可能的句子 3. 集束搜索(Beam Search) 4. 改进集束搜索 5. 集束搜索的误差分析 6. Bleu 得分 7. 注意力模型直观理解 8. 注意力模 ...
5-3 Coursera吴恩达《序列模型》第三周课程笔记-序列模型和注意力机制
上一周的课程5-2 Coursera吴恩达<序列模型> 第二周课程笔记-自然语言处理和词嵌入介绍了自然语言处理相关内容,例如词汇表征.词嵌入.嵌入矩阵和负采样等概念,以及Word2Vec和 ...
吴恩达deeplearning.ai系列课程笔记+编程作业(15)序列模型(Sequence Models)-第三周序列模型和注意力机制
第五门课序列模型(Sequence Models) 第三周序列模型和注意力机制(Sequence models & Attention mechanism) 文章目录第五门课序列模型( ...
第三周序列模型和注意力机制（Sequence models Attention mechanism）
第三周序列模型和注意力机制(Sequence models & Attention mechanism) 文章目录 **第三周序列模型和注意力机制(**Sequence models &a ...
序列模型与注意力机制
很久以前看吴恩达老师的视频和西瓜书时用jupyter写的,今天想起来就把它转到这里,真的挺方便基础模型:Sequence to sequence(序列)模型在机器翻译和语音识别方面都有着广泛的应用. ...
完结篇 | 吴恩达《序列模型》精炼笔记（3）-- 序列模型和注意力机制
AI有道不可错过的AI技术公众号关注 1 Basic Models Sequence to sequence(序列)模型在机器翻译和语音识别方面都有着广泛的应用.下面,我们来看一个机器翻译的简单例 ...
DLNg第三周：序列模型和注意力机制
1.基础模型将法语翻译为英语,分为编码和解码阶段,将一个序列变为另一个序列.即序列对序列模型. 从图中识别出物体的状态,将图片转换为文字. 先使用CNN处理图片,再使用RNN将其转换为语言描述. 2 ...

序列模型与注意力机制总结

序列模型与注意力机制总结相关推荐

最新文章

热门文章