注意力的定义描述

注意力是一个心理学概念，属于认知过程的一部分，是一种导致局部刺激的意识水平提高的知觉的选择性的集中。在与人类意识有关的许多认知过程（决策、记忆、情绪等）中，注意被认为是最具体的，由于它与知觉的关系非常密切。

注意力是在突触水平上进行操作，提高对输入信号的敏感性，并锐化这些信号的精确度，选择性地提高吸引注意力信息的传输，同时降低噪音水平，或干扰注意力信息的传输。注意力能通过选择性改变突触的“权重”，强化所有包括噪音在内感觉输入的感官特征，从而重塑神经感觉。

注意力是一个用来分配有限的信息处理能力的选择机制。

注意力可能有两种机制

一种是抑制某个区域的input/output以阻止干扰的信息进入
另一种是加强某个区域的signal以促进这个信息的处理

行程的处理效果就是

决定需要关注输入的哪部分（其实这一点就是概括了上面的两种机制）
分配有限的信息处理资源给重要的部分（针对于大脑的处理）

注意力的两条通路

注意力（attention）由“自下而上”（bottom-up）和“自上而下”（top-down）的两条通路调控。
这里以视觉注意力为例：

“自下而上”的通路就是“见山是山，见水是水”，即大脑内呈现的信息是通过视觉通路传递的外界刺激原始的物理特征，包括颜色、强度、方向等等。这是外部环境信息驱动的注意力。
“自上而下”的通路指的是大脑的（高级）联合皮层，包括前额叶皮层（PFC）和后顶叶皮层（PPC）根据当前任务的目标和以往的知识对视觉通路中信息的进行的调控。这是大脑内部信息驱动的注意力。

“自下而上”（bottom-up）和“自上而下”（top-down）的注意力调控途径示意图。蓝色、红色和绿色的箭头分别表示”自下而上”、”自上而下”的信号处理通路和眼睛运动相关的信号传递过程。

实验辅助理解：实验动物是猕猴，接受到的视觉刺激是屏幕上一堆颜色、饱和度和方向不同的彩色矩形。

1、“自下而上”

如果只要小猴注视任何一个矩形达1秒的时间，我们就给他奖励（通常是橙汁）的话，小猴通常会使用“自下而上”注意力通路来执行这个任务，即用眼睛去注视外观上最引猴注目的矩形（红色的矩形）。上图中外面一圈的流程图说明了其中的各个理论阶段：

首先，视觉刺激被眼睛捕捉。

其次，外界视觉信息，在大脑的视觉皮层会按其特征（例如，颜色，强度或方向）在不同的系统中处理。这些独立的特征图（feature map）表示的是每个视觉刺激的不同特征在视皮层中的显著程度。

然后，这些特征图的信息会被传递入前额叶皮层和后顶叶皮层，最终会被整合成一张完整的显著图（saliency map）。saliency map表示的是视野中的刺激的物理显着性，并且会引导大脑去注意其中最显著的刺激。

最后，当注意力被调控到最显著的位置（上图中的蓝色圈圈）后，前额叶会通过上丘（SC）来控制眼睛的运动，使之注视这个视觉刺激。

2、“自上而下”

如果，我们设定：小猴只有在注视粉红色矩形1秒的情况下，才能获得奖励。那么，小猴就会使用“自上而下”注意力通路来执行这个任务。图中间的红色大箭头表示的就是大脑内部的“自上而下”的注意力调控途径：

前额叶皮层会结合当前的行为目标（比如，寻找横着的、饱和度最低的、粉红色的矩形）和先前的知识（要认识粉红色），来调控大脑将独立的feature map整合成saliency map的过程。这次生成的map是与“自下而上”通路中不同的，也包含了”自上而下”的信息，我们称之为优先图（priority map）。

这种情况下，注意力就会被调控到任务需要的地方了（图中的红色圈圈）。

当然，前额叶其实很牛的，它的“自上而下”的信息其实也可以调控视觉刺激表征的其他阶段。

人眼的视觉Attention

根据生物神经科学研究发现，人眼在看东西时潜意识中一般有三个过程：

眼睛接受像素信息，根据具体的像素信息成像。这个过程属于bottom-up过程，即人眼根据某一个像素极其周围的像素信息形成图像区域并进一步抽象为某一个物体形状；

眼睛扫描整个场景元素，并且寻找感兴趣的影像区域。这个过程属于top-down过程，即获得第一步物体形状之后，人眼会快速扫描整个视野场景，然后快速定位到感兴趣的地方；

眼睛聚焦感兴趣的区域，仔细观察获得外部信息。

参考文献

如何从生物学的角度来定义注意力？ - 知乎

注意力的认知神经机制是什么？ - 知乎

Katsuki F, Constantinidis C.2014. Bottom-up and top-down attention: different processes and overlapping neural systems. Neuroscientist 20:509-21

Miller EK.1999. Neurobiology. Straight from the top. Nature 401:650-1

Attention学习系列（1）：人脑与视觉中的注意力机制相关推荐

深度学习中的注意力机制（三）
作者 | 蘑菇先生来源 | NewBeeNLP原创出品深度学习Attenion小综述系列: 深度学习中的注意力机制(一) 深度学习中的注意力机制(二) 目前深度学习中热点之一就是注意力机制(Att ...
【NLP】四万字全面详解 | 深度学习中的注意力机制（三）
NewBeeNLP原创出品公众号专栏作者@蘑菇先生知乎 | 蘑菇先生学习记深度学习Attenion小综述系列: 四万字全面详解 | 深度学习中的注意力机制(一) 四万字全面详解 | 深度学习中的 ...
深度学习中的注意力机制（二）
作者 | 蘑菇先生来源 | NewBeeNLP 目前深度学习中热点之一就是注意力机制(Attention Mechanisms).Attention源于人类视觉系统,当人类观察外界事物的时候,一般不 ...
深度学习中的注意力机制（一）
作者 | 蘑菇先生来源 | NewBeeNLP 头图 | CSDN下载自视觉中国目前深度学习中热点之一就是注意力机制(Attention Mechanisms).Attention源于人类视觉系统 ...
【NLP】四万字全面详解 | 深度学习中的注意力机制（四，完结篇）
作者 | 蘑菇先生知乎 | 蘑菇先生学习记深度学习Attention小综述系列: 四万字全面详解 | 深度学习中的注意力机制(一) 四万字全面详解 | 深度学习中的注意力机制(二) 四万字全面详解 ...
【NLP】四万字全面详解 | 深度学习中的注意力机制（二）
NewBeeNLP原创出品公众号专栏作者@蘑菇先生知乎 | 蘑菇先生学习记前情提要:四万字全面详解 | 深度学习中的注意力机制(一) 目前深度学习中热点之一就是注意力机制(Attention ...
【NLP】全面详解 | 深度学习中的注意力机制（一）
NewBeeNLP原创出品公众号专栏作者@蘑菇先生知乎 | 蘑菇先生学习记目前深度学习中热点之一就是注意力机制(Attention Mechanisms).Attention源于人类视觉系统,当 ...
注意力机制-深度学习中的注意力机制+注意力机制在自然语言处理中的应用
1 深度学习中的注意力机制 https://mp.weixin.qq.com/s?__biz=MzA4Mzc0NjkwNA==&mid=2650783542&idx=1&sn= ...
深度学习中的注意力机制汇总
什么是注意力机制视觉注意力机制是人类视觉所特有的一种大脑信号处理机制,而深度学习中的注意力机制正是借鉴了人类视觉的注意力思维方式.一般来说, 人类在观察外界环境时会迅速的扫描全景,然后根据大脑信号 ...

Attention学习系列（1）：人脑与视觉中的注意力机制