为什么TransFormer中的FFN有两层，先升维再降维？

为什么FFNN有两层，先升维再降维？
Self-Attention模型的作用是提取语义级别的信息（不存在长距离依赖），FFNN实际上就是简单的MLP。唯一需要注意的是这个MLP的修饰词——Point-wise，它的意思是它是对每个position（词）都分开、独立地处理.

Transformer是通过attention来全局地聚合序列的信息，然后通过MLP进行语义空间的转换

FFNN是在各个时序上对特征进行非线性变换，提高网络表达能力。FFNN有两层，是将attention层输出先扩维4倍再降维。为什么这么做？神经网络中线性连接可其中三者维度分别是m×1、m×n、n×1。

m>n：升维，将特征进行各种类型的特征组合，提高模型分辨能力
m<n：降维，去除区分度低的组合特征
所以TransFormer中的神经网络都是先做宽再做窄。

原文：学习笔记八：transformer面试点_神洛华的博客-CSDN博客_transformer面试

为什么TransFormer中的FFN有两层，先升维再降维？相关推荐

Java：关于跳出两层循环的方法以及Label（标签）
Java:关于跳出两层循环的方法以及Label(标签) HR曾问过我这样一个问题:Java中,如何跳出两层循环? 虽然当时没有说我的答案是错的,但也没完全认可.以下为对该问题的重新研究. 1. Lab ...
Mybatis中mapper文件中的两层循环
导言使用mapper.xml文件来存储和执行sql语句是Mybatis框架中重要的应用.在mapper.xml文件中对List数据的循环遍历较为普遍和常用,而两层或多层循环是大家不常用的.下面简单介 ...
2021-11-04数据库中关于两层套用 not exists实现全称量词查询
在刚开始学习数据库时会遇到如何理解两层嵌套 not exists 实现全称量词的查询的理解. 例如: Student : Sno (学号) Sname(姓名) Ssex(性别) Sage(年龄) ...
C语言中阶第四篇：分支与循环语句练习，求阶乘的多种方法（两层for循环求阶乘）、二分查找、字符串汇聚以及模拟用户登录
业精于勤荒于嬉,行成于思毁于随. 今天就来综合的联系一下前面的知识. 第十篇一.for语句,两种方法计算阶乘 1.1.一层for循环求阶乘 1.2.实现阶乘累和 1.3.两层for循环求阶乘二.i ...
transformer中attention计算方式_Reformer: 局部敏感哈希、可逆残差和分块计算带来的高效...
最近要开始使用Transformer去做一些事情了,特地把与此相关的知识点记录下来,构建相关的.完整的知识结构体系, 以下是要写的文章,本文是这个系列的第九篇: Transformer:Attenti ...
transformer中attention计算方式_Transformer在推荐模型中的应用总结
最近基于transformer的一些NLP模型很火(比如BERT,GPT-2等),因此将transformer模型引入到推荐算法中是近期的一个潮流.transformer比起传统的LSTM.GRU等模 ...
ICCV 2021 | 视觉Transformer中的相对位置编码
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达本文转载自:将门创投相对位置编码(RelativePosition Encoding)能够显式地对Tran ...
ICCV2021 | Vision Transformer中相对位置编码的反思与改进
前言在计算机视觉中,相对位置编码的有效性还没有得到很好的研究,甚至仍然存在争议,本文分析了相对位置编码中的几个关键因素,提出了一种新的针对2D图像的相对位置编码方法,称为图像RPE(IRPE). ...
Transformer解读之：Transformer 中的 Attention 机制
encoder 的 attention 场景:现在要训练的内容是 I love my dog -> 我喜欢我的狗那么在 encoder 端的输入是: I love my dog: 假设经过 e ...

为什么TransFormer中的FFN有两层，先升维再降维？

为什么TransFormer中的FFN有两层，先升维再降维？相关推荐

最新文章

热门文章