Introduction

作者提出了一种简单且高效的方法稳定的提升了Transformer 的深度，这种方法是一种新的残差连接的方式（DeepNorm），它结合了以前的Post-LN的高表现与Pre-LN的稳定性的优点。通过这种方法作者把Transformer的层数提升了一个数量级。

作者还提到 200 层 3.2B的参数要outperform 48层12B的参数的模型 5个点。

近年来大模型是一个趋势，参数量从million 到 billion 再到 trillions。尽管有着巨大的参数，但是他们的深度都被模型性训练不稳定所制约。

作者还提到大模型训练更深层次的网络不稳定的原因可能是exploding model update，本人理解为大量的更新参数可能会陷入局部最优。

TL；DR for Practitioners

上述图片为deepnorm的伪代码，其中以Post-LN为基础，给 x 加一个alpha权重，然后对ffn，v_projection, out_projection 与 q_projection 和k_projection分别采用不同的初始化方法，区别是gain参数，其中gain参数为一个可选的比例因子。

alpha 与beta的选择参考如下：

N-layer encoder, M-layer decoder

Experiment

DeepNet :Scaling Transformers to 1000 Layer相关推荐

【深度学习】这千层transformer让我目瞪口呆
作者:十方见过几层的mlp,也见过几十层的GoogleNet,还见过上百层的Resnet,上千层的transformer见过没!这篇论文<DeepNet: Scaling Transforme ...
DEEPNORM：千层transformer...
见过几层的mlp,也见过几十层的GoogleNet,还见过上百层的Resnet,上千层的transformer见过没!这篇论文<DeepNet: Scaling Transformers to ...
《预训练周刊》第39期：深度模型、提示学习
No.39 智源社区预训练组预训练研究观点资源活动周刊订阅告诉大家一个好消息,<预训练周刊>已经开启"订阅功能",以后我们会向您自动推送最新版的&l ...
LLMs模型速览（GPTs、LaMDA、GLM/ChatGLM、PaLM/Flan-PaLM、BLOOM、LLaMA、Alpaca）
文章目录一. GPT系列 1.1 GPTs(OpenAI,2018--2020) 1.2 InstructGPT(2022-3) 1.2.1 算法 1.2.2 损失函数 1.3 ChatGPT(20 ...
Layer 2：公链本就不该追求性能 |链捕手
经历了两年时间,区块链行业从无到有出现了数十个.上百个不同设计的 Layer 2 项目,而大部分人对 Layer 2 的认识仅仅就是「扩容方案」那般可有可无. 为什么公链就是性能那么低?为什么我们觉得 ...
AIGC之LLaMA：《LLaMA: Open and Efficient Foundation Language Models》翻译与解读
AIGC之LLaMA:<LLaMA: Open and Efficient Foundation Language Models>翻译与解读导读:该论文提出了一个开源的大规模语言模型LL ...
Caffe中对MNIST执行train操作执行流程解析
之前在 http://blog.csdn.net/fengbingchun/article/details/49849225 中简单介绍过使用Caffe train MNIST的文章,当时只是仿照ca ...
TensorFlow人工智能引擎入门教程之十最强网络 RSNN深度残差网络平均准确率96-99%
摘要: 这一章节我们讲一下 RSNN深度残差网络 ,他准确率非常好,比CNN还要高.而且非常新出现在2015 residual network http://blog.csdn.net/sunbai ...

DeepNet :Scaling Transformers to 1000 Layer

DeepNet :Scaling Transformers to 1000 Layer

Introduction

TL；DR for Practitioners

Experiment

DeepNet :Scaling Transformers to 1000 Layer相关推荐

最新文章

热门文章