DLNg第三周：序列模型和注意力机制

2024-05-23 17:10:05

1.基础模型

将法语翻译为英语，分为编码和解码阶段，将一个序列变为另一个序列。即序列对序列模型。

从图中识别出物体的状态，将图片转换为文字。

先使用CNN处理图片，再使用RNN将其转换为语言描述。

2.选择最可能的句子

7.注意力模型直观理解

绿色部分是输入法语句子并记忆，在感知机中传递，紫色是解码网络，生成英文翻译；

人翻译的时候会选择看一段翻译一段，而在NN中如果是记忆整个句子，那效果就如Blue得分的蓝线随着单词的增长而降低。

在神经网络中，记忆长句子是很困难的。

使用双向RNN获取特征集，使用另一个RNN来进行翻译。

在预测第一个单词Jane时，需要考虑法语中jane和其附近的词，这时会根据距离给予每个单词一个注意力权重，

比如对jane是α<1,1>,visite是a<1,2>,l'Afrique是a<1,3>这样将原来的网络输入根据不同的权重来预测单词Jane;

在生成第二个单词的时候，又会有（紫色笔）不同的注意力权重，并且输入上一个单元的输出；绿色笔是预测第三个词。

α<t,t’>会告诉在尝试生成第T个英文单词，应该花多少注意力在第t个法语词上，当生成一个特定的英文词时，它允许在每个时间步内去看周围词距内的法语需要多少注意力。

8.注意力模型

是将上一节的进行了一点展开讲解，对于预测某一单词，Σα<1,t'>=1，是说在生成第一个单词的时候，总共t'个可影响的单词，它们的影响总和为1，并且状态C是根据其对应的注意力来计算的。

softmax函数能够保证和为1，左下角的图输入为上一个预测结果和当前词的Attention，右下角的图也就是左下角的具体化。

右下角的图左边是出入，上面是输出，能够发现注意力？？

转载于:https://www.cnblogs.com/BlueBlueSea/p/10602609.html

DLNg第三周：序列模型和注意力机制相关推荐

深度学习笔记第五门课序列模型第三周序列模型和注意力机制
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...
吴恩达deeplearning.ai系列课程笔记+编程作业(15)序列模型(Sequence Models)-第三周序列模型和注意力机制
第五门课序列模型(Sequence Models) 第三周序列模型和注意力机制(Sequence models & Attention mechanism) 文章目录第五门课序列模型( ...
第三周序列模型和注意力机制（Sequence models Attention mechanism）
第三周序列模型和注意力机制(Sequence models & Attention mechanism) 文章目录 **第三周序列模型和注意力机制(**Sequence models &a ...
5-3 Coursera吴恩达《序列模型》第三周课程笔记-序列模型和注意力机制
上一周的课程5-2 Coursera吴恩达<序列模型> 第二周课程笔记-自然语言处理和词嵌入介绍了自然语言处理相关内容,例如词汇表征.词嵌入.嵌入矩阵和负采样等概念,以及Word2Vec和 ...
一文读懂序列建模（deeplearning.ai）之序列模型与注意力机制
https://www.toutiao.com/a6663809864260649485/ 作者:Pulkit Sharma,2019年1月21日翻译:陈之炎校对:丁楠雅本文约11000字,建议 ...
05.序列模型 W3.序列模型和注意力机制（作业：机器翻译+触发词检测）
文章目录作业1:机器翻译 1. 日期转换 1.1 数据集 2. 用注意力模型进行机器翻译 2.1 注意力机制 3. 可视化注意力作业2:触发词检测 1. 数据合成:创建语音数据集 1.1 听一下数 ...
05.序列模型 W3.序列模型和注意力机制
文章目录 1. 基础模型 2. 选择最可能的句子 3. 集束搜索(Beam Search) 4. 改进集束搜索 5. 集束搜索的误差分析 6. Bleu 得分 7. 注意力模型直观理解 8. 注意力模 ...
完结篇 | 吴恩达《序列模型》精炼笔记（3）-- 序列模型和注意力机制
AI有道不可错过的AI技术公众号关注 1 Basic Models Sequence to sequence(序列)模型在机器翻译和语音识别方面都有着广泛的应用.下面,我们来看一个机器翻译的简单例 ...
序列模型与注意力机制
很久以前看吴恩达老师的视频和西瓜书时用jupyter写的,今天想起来就把它转到这里,真的挺方便基础模型:Sequence to sequence(序列)模型在机器翻译和语音识别方面都有着广泛的应用. ...

最新文章

热门文章