前言

简单介绍门控线性单元的结构。

原始论文

《Language Modeling with Gated Convolutional Networks》提出GLU，2017年（第一版是2016年）

网络结构

下图的结构只是其中一层，可以堆叠。

计算公式

每一层的计算公式如下。

其中：
X代表输入。
W、V、b、c都是要学习的参数。
σ\sigmaσ在原论文中是sigmoid函数。
⊗是对应元素相乘（element-wise product），也称为哈达玛积(Hadamard product)。

从公式可以看到，输入X分两路，其中一路的运算结果不做处理，另一路则经过激活函数。

Pytorch文档

torch.nn.GLU(dim=-1)GLU(a,b)=a⊗σ(b)  （先随便读一下文档，后面有代码示例和详细解释）参数
dim (int) – the dimension on which to split the input. Default: -1
指定从哪个维度对input进行拆分，默认值：-1参数形状
Input: (∗1,N,∗2) where * means, any number of additional dimensions
Output: (∗1,M,∗2) where M=N/2

需要说明，如果用pytorch的GLU模型计算原论文中GLU层，需要自己构造a和b两个部分。

代码示例

理解参数dim的作用

1. 不设置dim，使用默认值-1。


>>> m = nn.GLU()  # dim默认是-1
>>> input = torch.randn(4, 2)
>>> input
tensor([[ 0.4562,  0.7670],[ 1.7934,  0.7769],[-0.3021, -0.1275],[-1.4728,  0.7495]])
>>> output = m(input)
>>> output
tensor([[ 0.3115],[ 1.2285],[-0.1414],[-1.0001]])

解释：dim=-1，意味着最后一个维度，对于二维矩阵，也就是列的维度，所以是按列拆分。

2. 设置dim=0。

>>> input = torch.randn(4, 3)
>>> m = nn.GLU(dim=0)    # dim=0
>>> output = m(input)
>>> output
tensor([[-0.9414, -0.0830, -0.5450],[-0.1251, -1.1556,  0.6469]])

解释：dim=0，意味着第一个维度，对于二维矩阵，就是行的维度，所以是按行拆分。

根据上面介绍的原理，应该知道，被拆分的那个维度，向量个数必须是偶数，才能平均拆分。如果对一个4*3的矩阵按列拆分，就会报错了。

GLU（Gated Linear Unit，门控线性单元）简介相关推荐

门控循环单元-GRU单元（Gated Recurrent Unit）
来源:Coursera吴恩达深度学习课程接下来我们将会学习门控循环单元(Gated Recurrent Unit),它改变了RNN的隐藏层,使其可以更好地捕捉深层连接,并改善了梯度消失问题,让我们看 ...
pytorch学习笔记（三十一）：门控循环单元（GRU）
文章目录前言 1. 门控循环单元 1.1 重置门和更新门 1.2 候选隐藏状态 1.3 隐藏状态 2. 读取数据集 3. 从零开始实现 3.1 初始化模型参数 3.2 定义模型 3.3 训练模型并创 ...
2020-10-21 吴恩达DL学习-C5 序列模型-W1 循环序列模型(1.9 GRU门控循环单元-改善梯度消失-在序列中学习非常深的连接-简化和完整版本-记忆细胞)
1.视频网站:mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c 2.详细笔记网站(中文):http://www.ai-sta ...
【吴恩达deeplearning.ai】Course 5 - 1.9 GRU 单元（门控循环单元）
GRU 单元 (Gated Recurrent Unit (GRU)) 你已经了解了基础的RNN模型的运行机制,在本节视频中你将会学习门控循环单元,它改变了RNN的隐藏层,使其可以更好地捕捉深层连接, ...
（pytorch-深度学习）门控循环单元（GRU）
门控循环单元(GRU) 循环神经网络中的梯度计算当时间步数较大或者时间步较小时,循环神经网络的梯度较容易出现衰减或爆炸. 虽然裁剪梯度可以应对梯度爆炸,但无法解决梯度衰减的问题. 通常由于这个原因, ...
花书+吴恩达深度学习（十七）序列模型之长短期记忆 LSTM 和门控循环单元 GRU
目录 0. 前言 1. 长短期记忆 LSTM 2. 门控循环单元 GRU 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十五)序列模型之循环神经网络 ...
动手学深度学习（三十九）——门控循环单元GRU
文章目录门控循环单元(GRU) 一.门控隐藏状态 1.1 重置门和更新门 1.2候选隐藏状态 1.3 隐藏状态二.从零实现GRU 2.1 初始化模型参数 2.2 定义模型 2.3 训练与预测 2. ...
门控循环单元网络(GRU)在自然语言处理中的应用
作者:禅与计算机程序设计艺术 1.简介自然语言处理(NLP)是人类认知的一项重要技能,它涉及到对文本数据进行处理.提取信息并对其做出回应.传统上,文本分析方法使用基于统计模式的算法,如TF-IDF. ...
面向中国企业关系抽取的双向门控递归单元神经网络
面向中国企业关系抽取的双向门控递归单元神经网络论文原文:论文原文摘要:为了帮助金融从业人员有效识别高风险企业.法人或股东,国内外学者构建了风险预警的企业知识图谱.从财经新闻等非结构化数据中提取企业 ...

GLU（Gated Linear Unit，门控线性单元）简介

前言