Transformer

Transformer实际上就是变形金刚，其与Bert实际类似。其实际上就是一个Sequence-to-Sequence的模型，其输出的长度并不是由人为指定，而是由机器自行确定。

Transformer的基本结构，如上图所示，主要由一个Encoder和一个Decoder组成，一般将输入序列通过Encoder进行处理，处理完成后给到Decoder，由Decoder来确定输出向量。

1.Encoder

Encoder的基本结构：

模型的编码器可以有多个Block进行编码处理。

Block的具体结构：

根据李老师课程中的讲解，仅以拆解内部的Block结构输入向量b讲过Self-Attention得到向量a，同时由相应的输入向量b进行残差连接，经过一次Layer Norm就可以得到向量c.接着将c作为FC网络的输入得到d，接着再次进行残差连接，得到向量e，最后再做一次Layer Norm操作得到向量f。

2.Decoder-Autoregressive (AT)

Decoder中使用的Masked Self-Attention结构如下图所示，只考虑之前的输入信息，并不考虑在当前点后的输入。

Decoder在进行处理的过程中会将自己上一个时刻的输出作为自己当前的输入，可能会出现一步错步步错的这样的问题，但是在训练过程中可以故意给模型喂入一些这样的数据，让模型在数据存在问题的情况下任然可以有比较不错的输出，防止出现一步错步步错的情况。

在做语音转换的时候需要有文字的结尾，防止出现Nerver Stop的问题。

当模型输出END时候，模型就结束。

3.Decoder Non-autoregressive (NAT)

AT需要一步一步的去学习，并将上一次的学习的结果作为下一次学习的输入进行后续的操作，NAT直接一次性输入所有的vector，然后一次性输出整个句子，实现输出。输出的长度可以再设一个单独的模型来进行预测。另外一种方法，直接给一个足够长的start来让模型输出，我们只需要将开始到第一个END出现的位置视作为模型的实际输出即可。

NAT：可以实现并行运算，同时模型的输出长度也是可控的。

NAT的结果通常比AT的结果比较糟糕。由于Multi-modality的原因。

4. Encoder-Decoder

Decoder部分不仅有自身的输入向量，还有Encoder部分的输出作为输入向量。而Encoder部分的输出与Decoder中Masked Multi-Head Attention的输出一起被送到Multi-Head Attetion进行处理，这部分就叫Cross Attention，如上图。

Cross-Attention的具体实现流程：

Encoder的输出分别与各自对应的矩阵，得到相应的key值，Decoder经过Masked Multi-Head Attention的输出与矩阵相乘得到Query值，两者做点积得到相关性分数；
Encoder的输出分别与各自对应的矩阵相乘得到相应的value值，然后与关联性分数相乘，并将所有结果累加起来，并将累加后的结果再给到全连接层，最终得到输出结果。

最后的输出实际上就是一个Softmax分类器，依次得到每一个字。

李宏毅2021春季机器学习课程视频笔记14-Transformer相关推荐

李宏毅2021春季机器学习课程视频笔记1：Introduction, Colab PyTorch Tutorials, HW1
诸神缄默不语-个人CSDN博文目录李宏毅2021春季机器学习课程视频笔记集合 VX号"PolarisRisingWar"可直接搜索添加作者好友讨论. 更新日志: 2021.11. ...
李宏毅2021春季机器学习课程视频笔记11-卷积伸进网络（CNN）
卷积神经网络架构图像识别将图片拉直放入神经网络中进行训练. 网络通过对图像中的存在的特征进行分析,判断当前属于何种类别. 神经网络其实不需要对整个图片进行分析,只需要对一些特殊的信息进行分析就可以 ...
(强推)李宏毅2021春机器学习课程-课件免费下载
博主最近学习李宏毅2021春机器学习课程,课程给出的课件都是按章节的,阅读起来不是很方便,所以将课件按章节整理合并了一下,并给出学习视频和代码的链接,与各位分享~ b站视频链接:(强推)李宏毅2021 ...
1-4 李宏毅2021春季机器学习教程-PyTorch教学-助教许湛然
1-3 李宏毅2021春季机器学习教程-Google Colab教学-助教许湛然介绍了Colab的使用,这篇文章是助教许湛然关于PyTorch框架的简要讲解. 更多操作查看: https://pyto ...
1-2 李宏毅2021春季机器学习教程-第一节（下）-深度学习基本概念简介
上篇文章1-1 李宏毅2021春季机器学习教程-第一节(上)-机器学习基本概念简介介绍了回归的一些知识,重点介绍了机器学习寻找函式的三个步骤.接着我们继续学习第一节Introduction的内容. 目 ...
李宏毅2023春季机器学习课程
目录 2021&2022课程重磅须知我维护的其他项目更新日志课程地址课程资料直链课程作业直链其他优质课程 2021&2022课程 CSDN Github 重磅须知为方便 ...
2-1 李宏毅2021春季机器学习教程-第二节机器学习任务攻略
之前的学习简要介绍了机器学习和深度学习的相关概念,上一篇文章李宏毅2021春季机器学习教程HW1-COVID-19 Cases Prediction (Regression)解答有关于HW1的解答,接 ...
【学习笔记】李宏毅2021春机器学习课程第三节：卷积神经网络（CNN）
文章目录 1 图像分类问题 2 观察一:通过某些模式来识别 3 简化一:各扫门前雪 3.1 经典的 Receptive Field 设计方式 3.1.1 看所有的 Channel 3.1.2 使用 3 ...
【学习笔记】李宏毅2021春机器学习课程第6.1节：生成式对抗网络 GAN（一）
文章目录 1 能够作为生成器的神经网络 GAN 2 动漫人物头像生成 3 判别器(Discriminator) 4 从自然选择看GAN的基本思想 5 GAN 的具体实现过程步骤一: 固定 gener ...

李宏毅2021春季机器学习课程视频笔记14-Transformer