闸门机制（Gate Mechanism）

本系列文章由 @yhl_leo 出品，转载请注明出处。
文章链接： http://blog.csdn.net/yhl_leo/article/details/51728107

神经网络中常说的闸门机制（Gate Mechanism）或者闸门理论（Gate Theory）源自 Gate Control Theory of Pain，大致原理如下：

Gate Control Theory of Pain (Ronald Melzack and Patrick Wall, 1965)：非疼痛的输入可以阻止疼痛的感觉传递到中枢神经系统中。因此，通过无害的刺激输入是可以抑制疼痛的。

non-painful input closes the “gates” to painful input, which prevents pain sensation from traveling to the central nervous system. Therefore, stimulation by non-noxious input is able to suppress pain.

图 1 传入与传出神经

闸门理论，称那些激活但不传递疼痛信号的神经为非感受伤害性纤维（nonnociceptive fibers），它们可以干涉源自疼痛纤维（pain fibers）的信号，从而可以抑制疼痛。传入疼痛感受神经（见图 1，高中生物中有讲述：胞体在脑、脊神经节内，神经末梢在皮肤和肌肉等部位形成感受器）将信号传入中枢神经，包含至少两种神经纤维：

快速（ speed of travel of a nerve signal (2 to 30 m/s) ）、膜较厚（2 to 5 μm in diameter）、有髓鞘的Aδ纤维(A delta fiber)，传递剧烈疼痛（intense pain）；
相对Aδ慢（no more than 2 m/s），膜较薄（0.2-1.5 μm in diameter），无髓鞘的C纤维（C fiber），传递搏动/绞痛、慢性痛（throbbing and chronic pain）。

大直径的Aβ fibers纤维是非感受伤害性纤维，并且能够抑制 Aδ 和 C 纤维 “firing” (很形象的比喻，Aδ, C纤维向投射神经元（projection neuron）投递疼痛信号，好比开火)，见图2、3所示的两种状态：

Gate control theory asserts that activation of nerves which do not transmit pain signals, called nonnociceptive fibers, can interfere with signals from pain fibers, thereby inhibiting pain. Afferent pain-receptive nerves, those that bring signals to the brain, comprise at least two kinds of fibers - a fast, relatively thick, myelinated “Aδ” fiber that carries messages quickly with intense pain, and a small, unmyelinated, slow “C” fiber that carries the longer-term throbbing and chronic pain. Large-diameter Aβ fibers are nonnociceptive (do not transmit pain stimuli) and inhibit the effects of firing by Aδ and C fibers.

图 2 Aβ纤维没有激活，C纤维向投射神经元投递疼痛信号，投射神经元将信号传递到中枢神经

图 3 Aβ纤维激活，C纤维向投射神经元投递疼痛信号被抑制性中间神经元抑制，投射神经元不会将疼痛信号传递到中枢神经

周围神经系统（peripheral nervous system, PNS）（相对于中枢神经系统（central nervous system, CNS），见图 4，是神经系统中的组成部分，分布于大脑和脊髓之外，主要作用是将四肢和器官各处与CNS相连接，本质上就像中介一样建立大脑和脊髓之外的身体部分来回的反馈）具有管理疼痛刺激的中心。灰质后角（见图 5 中灰质2部分）是主要涉及接受源自Aδ 和 C纤维的疼痛刺激、Aβ信号输入的区域。非感受伤害性纤维并不直接抑制疼痛纤维的状态，而是通过图 3所示的中断掉（closing a gate）刺激的传输。在脊髓灰质的其他区域，疼痛纤维也能抑制非感受伤害性纤维，从而（opening the gate）恢复到图 2 所示的状态。

图 4 神经系统简图

图 5 脊髓剖面图蓝色和红色分别表示传入神经元和传出神经元，灰质后角位于2区域

上面的闸门机制是生理学中的简介，而在深度学习中，如何使用该原理，利用各种激活函数，从而实现训练过程收敛的，我还不清楚，等清楚该原理，就会写博客进行讲解。

References:

https://en.wikipedia.org/wiki/Afferent_nerve_fiber
https://en.wikipedia.org/wiki/Gate_control_theory
https://en.wikipedia.org/wiki/Posterior_grey_column

闸门机制（Gate Mechanism）相关推荐

基于Gate Mechanism的激活单元GTU、GLU
1 Sigmoid和Tanh存在的问题 Sigmoid和双曲正切激活函数有两个明显的缺点: 存在饱和死区特性,梯度反向传播时,容易导致梯度爆炸(Gradient Explosion)和梯度消失(Gra ...
注意力机制Attention Mechanism及论文
注意力机制Attention Mechanism Q,K,V 注意力分数 seq2seq中注意力机制的应用注意力机制源于对人类视觉的研究.在认知科学中,由于信息处理的瓶颈,人类会选择性地关注所有信息 ...
计算机视觉中的注意力机制--attention mechanism
转载:https://zhuanlan.zhihu.com/p/56501461 张戎引言在机器翻译(Machine Translation)或者自然语言处理(Natural Language P ...
[深度学习学习笔记]注意力机制-Attentional mechanism
注意力机制最早在自然语言处理和机器翻译对齐文本中提出并使用,并取得了不错的效果.在计算机视觉领域,也有一些学者探索了在视觉和卷积神经网络中使用注意力机制来提升网络性能的方法.注意力机制的基本原理很 ...
iOS 消息的传递机制
2019独角兽企业重金招聘Python工程师标准>>> 转载原地址:http://beyondvincent.com/blog/2013/12/14/124-communicatio ...
Attention！注意力机制可解释吗？
来源:哈工大SCIR 本文约9300字,建议阅读10+分钟. 本文将与您探讨注意力机制的可解释性问题. 序言自2014年Bahdanau将Attention作为软对齐引入神经机器翻译以来,大量的自然 ...
Attension Mechanism模型的详细介绍，原理、分类及应用
模型汇总24 - 深度学习中Attention Mechanism详细介绍:原理.分类及应用 Attention是一种用于提升基于RNN(LSTM或GRU)的Encoder + Decoder模型的效 ...
精华文稿｜用于无监督双目立体匹配学习的视差注意力机制
本文章整理自国防科技大学王龙光博士在深蓝学院的关于双目视觉公开课演讲. -----全文约3000字----- 作者提出了一个基于双目视觉领域的视差注意力机制,并将此机制应用到双目立体匹配和双目超分辨领 ...
NLP-生成模型-2017-PGNet：Seq2Seq+Attention+Coverage+Copy【Coverage解决解码端重复解码问题；Copy机制解决解码端OOV问题】【抽取式+生成式】
PGNet模型训练注意事项: Coverage机制要在训练的最后阶段再加入(约占总训练时间的1%),如果从刚开始训练时就加入则反而影响训练效果: Copy机制在源文本的各个单词上的概率分布直接使用At ...

闸门机制（Gate Mechanism）

References:

闸门机制（Gate Mechanism）相关推荐

最新文章

热门文章