Summary

在以 RNN 为基础的相关结构中，gate 用来控制信息的流动。但作者认为，gate 对信息流的控制是把输入看做一个整体，只关注了当前信息和历史信息的贡献，而没有去挖掘一个时间戳输入里不同元素的不同重要程度。

所以，作者提出在 RNN 相关的结构中加入注意力机制，变为 Element-wise-Attention Gate (EleAttG) 结构，给输入里不同元素赋予不同的重要程度。

其中，注意力机制体现在由当前的输入和隐藏层的状态共同决定输入里每个元素的重要性，形成一个 attention map，用这个 attention map 对当前输入进行重要性程度的更新，再对更新后的输入进行后续 RNN 的操作。

此外，作者设计的 attention map 又与之前的 attention 机制不太一样：之前的 attention 使用 Softmax 函数作为激活函数，这样会导致 attention map 的加和为 1，可能会互相制约每个元素的 response value。而文中使用的是 sigmoid 函数作为激活函数，去除掉了这个加和为 1 的限制。

Details (Implementation)

原来的 RNN 结构

For a standard RNN layer, the output response ht at time t is calculated based on the input xt to this layer and the output ht−1 from the previous time slot

变为 Element-wise-Attention Gate (EleAttG) 后

For an RNN block, we propose an Element-wise-Attention Gate (EleAttG) to enable the RNN neurons to have the attentiveness capability. The response of an EleAttG is a vector at with the same dimension as the input xt of the RNNs, which is calculated as

论文阅读：Adding Attentiveness to the Neurons in Recurrent Neural Networks相关推荐

论文阅读 - Joint Beat and Downbeat Tracking with Recurrent Neural Networks
文章目录 1 概述 2 信号预处理 3 分类神经网络 4 动态贝叶斯网络(HMM) 4.1 原始的bar pointer model 4.2 原始的bar pointer model的缺点 4.3 改 ...
EleAtt-RNN: Adding Attentiveness to Neurons in Recurrent Neural Networks
EleAtt-RNN: Adding Attentiveness to Neurons in Recurrent Neural Networks EleAtt-RNN: 在循环神经网络的神经元当中加入 ...
论文笔记 NAACL 2016|Joint Event Extraction via Recurrent Neural Networks
文章目录 1 简介 1.1 动机 1.2 创新 2 背景知识 3 方法 3.1 编码 3.1.1 句子编码 3.1.2 RNN编码 3.2 预测 3.2.1 触发词预测 3.2.2 论元角色预测 3. ...
论文阅读——ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks
ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks 改进版通道注意力 from CVPR2020 期 ...
论文阅读笔记：Link Prediction Based on Graph Neural Networks
文章目录说明 Abstract 1 Introduction 2 Preliminaries Notations Latent features and explicit features Grap ...
论文阅读《SuperGlue: Learning Feature Matching with Graph Neural Networks》
论文地址:https://arxiv.org/abs/1911.11763 代码地址:https://github.com/magicleap/SuperGluePretrainedNetwork 背 ...
论文阅读之《DeepIlluminance: Contextual IlluminanceEstimation via Deep Neural Networks》
ArXiv2019 Jun Zhang合肥工业大学 Tong Zheng合肥工业大学 Shengping Zhang哈尔滨工业大学(威海) Meng Wang合肥工业大学 Introduction 回 ...
论文阅读：Improving Taxonomy-based Categorization with Categorical Graph Neural Networks
Improving Taxonomy-based Categorization with Categorical Graph Neural Networks 摘要在搜索和检索中,一个关键的子任务是将 ...
A Critical Review of Recurrent Neural Networks for Sequence Learning-论文（综述）阅读笔记
A Critical Review of Recurrent Neural Networks for Sequence Learning 阅读笔记 //2022.3.31 下午15:00开始论文地址 ...

论文阅读：Adding Attentiveness to the Neurons in Recurrent Neural Networks

目录

Summary

Details (Implementation)

原来的 RNN 结构

变为 Element-wise-Attention Gate (EleAttG) 后

论文阅读：Adding Attentiveness to the Neurons in Recurrent Neural Networks相关推荐

最新文章

热门文章