Transformer结构解读(Multi-Head Attention、AddNorm、Feed Forward)

咱们还是照图讨论，transformer结构图如下，本文主要讨论Encoder部分，从低端输入inputs开始，逐个结构进行：

图一

一、首先说一下Encoder的输入部分：

在NLP领域，个人理解，这个inputs就是我们的句子分词之后的词语，比如：我的句子是“我喜欢中国”，那么inputs为“我“，”喜欢“，”中国”，然后Input Embedding就是对这些词语的向量化（词向量），之后加上这些词对应的位置信息（比如“喜欢”在“我喜欢中国”中位置为2），两者结合作为Multi-Head Attention（多头注意力机制）的输入。

二、Multi-Head Attention

多头注意力机制，可以简单的理解为：对这个操作重复了n次，得到n个结果 .....，之后对这n个结果求平均，得到一个更稳健的输出。

重复n次实际上就是进行n次单独的self-attention，由于每次的、、都不同，所以每次self-attention的输出Z也不同，高级的意义：通过重复n次操作，将输入映射到不同的子空间，以便于提取更多的特征信息，从而提高准确性。

大白话：与从不同方位观察物体一样，从前面、侧面、后面看物体，肯定能获取关于这个物体更多的信息对吧，提取更多特征，从而有更深的理解，通俗易懂

Transformer结构解读(Multi-Head Attention、AddNorm、Feed Forward)相关推荐

谷歌NIPS论文Transformer模型解读：只要Attention就够了
作者 | Sherwin Chen 译者 | Major,编辑 | 夕颜出品 | AI科技大本营(ID:rgznai100) 导读:在 NIPS 2017 上,谷歌的 Vaswani 等人提出了 T ...
翻译: 详细图解Transformer多头自注意力机制 Attention Is All You Need
1. 前言 The Transformer--一个使用注意力来提高这些模型的训练速度的模型.Transformer 在特定任务中的表现优于谷歌神经机器翻译模型.然而,最大的好处来自于 The Tran ...
Swin Transformer论文解读
文章目录创新点算法 Patch Merging W-MSA SW-MSA 位置偏置结构变体实验 ImageNet分类 COCO目标检测 ADE20K语义分割消融实验结论论文: <S ...
【Transformer开山之作】Attention is all you need原文解读
Attention Is All You Need Transformer原文解读与细节复现导读在Transformer出现以前,深度学习的基础主流模型可分为卷积神经网络CNN.循环神经网络RNN ...
Transformer论文解读
简介近年来,注意力(Attention)机制被广泛应用于计算机视觉和自然语言处理领域,仅 CVPR2020 接收的论文中,使用到 Attention 的文章达到 60 篇.随着 Attention ...
【Transformer专题】一、Attention is All You Need（Transformer入门）
目录前言一.整体架构二.Transfomer输入 2.1.单词Embedding 2.2.位置Embedding 三.Self-Attention结构 3.1.Self-Attention QK ...
Transformer结构及其应用详解--GPT、BERT、MT-DNN、GPT-2
本文首先详细介绍Transformer的基本结构,然后再通过GPT.BERT.MT-DNN以及GPT-2等基于Transformer的知名应用工作的介绍并附上GitHub链接,看看Transforme ...
Transformer结构详解(有图，有细节)
文章目录 1. transformer的基本结构 2. 模块详解 2.1 模块1:Positional Embedding 2.2 模块2:Multi-Head Attention 2.2.1 Sca ...
ACL 2020 | 基于不同硬件搜索更好的Transformer结构
论文标题: HAT: Hardware-Aware Transformers for Efficient Natural Language Processing 论文作者: Hanrui Wang ( ...

Transformer结构解读(Multi-Head Attention、AddNorm、Feed Forward)

一、首先说一下Encoder的输入部分：

二、Multi-Head Attention

Transformer结构解读(Multi-Head Attention、AddNorm、Feed Forward)相关推荐

最新文章

热门文章