神经网络注意力机制--Attention in Neural Networks

Attention in Neural Networks and How to Use It
http://akosiorek.github.io/ml/2017/10/14/visual-attention.html

这篇博文主要介绍神经网络中的注意力机制，代码实现了两个 soft visual attention

What is Attention? 首先来看看注意力机制是什么？
Informally, a neural attention mechanism equips a neural network with the ability to focus on a subset of its inputs (or features): it selects specific inputs.
注意力机制可以让一个神经网络能够只关注其输入的一部分信息，它能够选择特定的输入。

attention is implemented as

f 是一个 attention network，其生成一个 attention vector a, 再讲 a 与输入 x 的特征向量 z 相乘，这个 a 取值范围是【0,1】，当我们说 soft attention 时，其取值是 0 到 1，当我们说 hard attention 其取值就只有 0 或 1。

为什么 attention 是重要的了？我们还有从 neural network 的本质说起， neural network 本质上就是一个函数拟合器 function approximator，它的结构决定其可以拟合什么类型的函数，通常情况下输入向量彼此的作用方式只能是相加 A typical neural net is implemented as a chain of matrix multiplications and element-wise non-linearities, where elements of the input or feature vectors interact with each other only by addition

但是注意力机制可以让输入向量之间的作用方式是相乘
Attention mechanisms compute a mask which is used to multiply features

neural networks are universal function approximators and can approximate an arbitrary function to arbitrary precision, but only in the limit of an infinite number of hidden units. In any practical setting, that is not the case: we are limited by the number of hidden units we can use.
神经网络可以拟合任意函数，但是受限于神经单元的数量，我们拟合的函数是有限制的。

The above definition of attention as multiplicative interactions allow us to consider a broader class of models if we relax the constrains on the values of the attention mask
注意力引入的 multiplicative interactions 可以让我们拟合更复杂的函数模型

Visual Attention
Attention 可以被应用到任意类型的输入，不管其形状如何，对于矩阵形式的输入如图像，我们可以探讨 visual attention，

Hard Attention
对于图像的 Hard Attention 就是 image cropping ： g = I[y:y+h, x:x+w]，这个 hard attention 的问题是 non-differentiable，可以通过 score-function estimator 来解决

Soft Attention
文献 Show, Attend and Tell 中使用这种类型的 attention，

The model learns to attend to specific parts of the image while generating the word describing that part

Closing Thoughts

Attention mechanisms expand capabilities of neural networks: they allow approximating more complicated functions, or in more intuitive terms, they enable focusing on specific parts of the input.

Attention mechanisms 应该可以发挥更大的作用！

神经网络注意力机制--Attention in Neural Networks相关推荐

注意力机制(Attention)最新综述论文及相关源码
来源:专知注意力机制(Attention)起源于模仿人类的思维方式,后被广泛应用于机器翻译.情感分类.自动摘要.自动问答等.依存分析等机器学习应用中.专知编辑整理了Arxiv上一篇关于注意力机制在N ...
注意力机制Attention Mechanism及论文
注意力机制Attention Mechanism Q,K,V 注意力分数 seq2seq中注意力机制的应用注意力机制源于对人类视觉的研究.在认知科学中,由于信息处理的瓶颈,人类会选择性地关注所有信息 ...
图像处理注意力机制Attention汇总（附代码）
原文链接: 图像处理注意力机制Attention汇总(附代码,SE.SK.ECA.CBAM.DA.CA等) 1. 介绍注意力机制(Attention Mechanism)是机器学习中的一种数据处理方 ...
注意力机制Attention详解
注意力机制Attention详解一.前言 2018年谷歌提出的NLP语言模型Bert一提出,便在NLP领域引起热议,之所以Bert模型能够火出圈,是由于Bert模型在NLP的多项任务中取得了之前所有 ...
吴恩达深度学习笔记——神经网络与深度学习（Neural Networks and Deep Learning）
文章目录前言传送门神经网络与深度学习(Neural Networks and Deep Learning) 绪论梯度下降法与二分逻辑回归(Gradient Descend and Logist ...
计算机视觉中的注意力机制--attention mechanism
转载:https://zhuanlan.zhihu.com/p/56501461 张戎引言在机器翻译(Machine Translation)或者自然语言处理(Natural Language P ...
论文阅读: 图像分类中的注意力机制(attention)
本文简要总结一下attention机制在图像分类任务中的应用.attention作为一种机制,有其认知神经或者生物学原理: 注意力的认知神经机制是什么? 如何从生物学的角度来定义注意力? 在计算机视觉 ...
翻译: 详细图解Transformer多头自注意力机制 Attention Is All You Need
1. 前言 The Transformer--一个使用注意力来提高这些模型的训练速度的模型.Transformer 在特定任务中的表现优于谷歌神经机器翻译模型.然而,最大的好处来自于 The Tran ...
注意力机制 Attention
注意力机制前沿注意力认知神经学中的注意力人工神经网络中的注意力机制 HAN(Hierarchical Attention Networks) Bi-LSTM + Attention + ten ...

神经网络注意力机制--Attention in Neural Networks

神经网络注意力机制--Attention in Neural Networks相关推荐

最新文章

热门文章