开山之作：Maass、1997：Networks of Spiking Neurons: The Third Generation of Neural Network Models

先来一个机翻译文
句子摘要：

这篇文章不假定关于脉冲神经元的先验知识，它包含了大量的参考文献，这些文献涉及到脉冲神经元网络中的计算和神经生物学的相关结果。
第一代是基于McCulloch-Pitts神经元作为计算单元。这些也被称为感知器或阈值门。它们产生了多种神经网络模型，如多层感知器（也称为阈值电路）、Hopfield网络和Boltzmann机器。这些模型的一个特点是它们只能提供数字输出。实际上，它们对于数字输入和数字输出的计算是通用的，每一个布尔函数都可以由具有单个隐层的多层感知器来计算。第二代基于计算单元，这些计算单元将一组连续的可能输出值应用于输入的加权和（或多项式）。
对于第二代神经网络的生物学解释，人们把一个sigmoidal单元的输出看作是生物神经元当前放电频率的表示。由于生物神经元，特别是在较高的皮层区域，已知在其最小和最大频率之间的各种中间频率发射，第二代的神经网络，就这种“发射率解释”而言，在生物学上比第一代的模型更真实。
然而，至少在大脑皮层神经元网络进行的模拟计算中，“放电率解释”本身就成了问题。Perrett、Rolls和Caan（1982）以及Thorpe和Imbert（1989）已经证明，人类可以在10毫秒内完成视觉模式分析和模式分类，尽管它涉及从视网膜到颞叶的至少10个突触阶段（见图1），Rolls和Tovee（1994）在猕猴身上测量的视觉处理速度是相同的。此外，他们还表明，参与视觉处理的单个皮层区域可以在2（）-3（）毫秒内完成计算（Rolls，1994；Rolls&Tovee，1994）。另一方面，参与这些计算的神经元的放电频率通常低于100赫兹，因此，仅对神经元的当前放电频率进行采样就需要至少20-30毫秒。因此，在快速大脑皮层计算的背景下，通过发射率对模拟变量进行编码似乎相当可疑。
另一方面，过去几年积累的实验证据表明，许多生物神经系统利用单个动作电位（或“脉冲”）的时间来编码信息（Abeles，1991；Abeles，Bergman，Margalit，&Vaadia，1993；Aertsen，1993；Arbib，1995；Bair，Koch，Newsome，&Britten，1994；Bialek&Rieke，1992；Ferster&Spruston，1995；Hopfield，1995；Kempter，Gerstner，van Hemmen，&Wagner，1996；Lestenne，1996；Rieke，Warland，van Stevenick，&Bialek，1996；Sejnowski，1995；Singer，1995；Softky，1994；Thorpe&Imbert，1989）。
积分点火模型（或最近被称为“脉冲神经元”）的数学模型可以追溯到拉皮克（19（）7）（sec-Tuckwcll，1988）。这一模型存在许多变化，最近的一次调查对此进行了描述和比较（见Gerstner，1995年）。关于这些数学模型与已知生物神经元行为的关系，我们参考了Abeles（1991年）、Aertsen（1993年）、Arbib（1995年）、Bower和Beeman（1995年）、Churchland和Sejnowski（1993年）、Hopfield（1995年）、Johnston和Wu（1995年）、Rieke等人（1996年）、Shepherd（1990年、1994年）、Tuckwell（1988年）；泰勒和阿拉维（1993）。
这些脉冲神经元的数学模型并不能完全描述生物神经元极其复杂的计算功能。相反，就像前两代神经网络模型的计算单元一样，这些都是简化模型，只关注生物神经元的几个方面。然而，与前两种模型相比，它们实际上更加真实。特别是，它们更好地描述了生物神经元的实际输出，因此它们允许我们在理论层面上研究利用时间作为计算和通信资源的可能性。
突触后电位是兴奋性突触后电位和抑制性突触后电位的总和电位。
突触后神经元的影响由wu,v∗εu,v(t−s)w_{u, v} * \varepsilon_{u, v}(t-s)wu,v∗εu,v(t−s)决定。εu,v(t−s)\varepsilon_{u, v}(t-s)εu,v(t−s)就是脉冲响应核。
我们推测w随时间快速变化对于神经系统的计算也是必不可少的，然而为了简单起见用常量来替代w。
将w限制为非负值是因为假设生物突触是“兴奋性”或“抑制性”的，并且在“学习过程”中它不会改变它的“符号”。此外，对于大多数生物神经元u，突触后神经元v的所有响应函数都是“兴奋性”的（即阳性），或全部为“抑制性”（即阴性）。（对于我来说我愿意限制脉冲为正的而w符号是可以变化的。）
为了数学上的方便我们设置膜电压为0并且阈值大于0. 在真实的生物神经元中，膜电位通常为-70mv，阈值为-50mv，并且每次脉冲最多使它改变几毫伏。
对于绝对不应期和相对不应期，我们就限制在点火之后的一段时间不激发。以此来模拟。
脉冲神经网络由这几个部分组成：一个受限的脉冲神经元集合V，一个突触集合E，以及突触上的权重w和脉冲响应核ε\varepsilonε，以及神经元上的阈值θ\thetaθ表示。如果用FuF_{u}Fu表示神经元u发放脉冲的时间集合，则神经元v在时间t的膜电势可以用以下方程表示：
Pv(t):=∑u:u,v>∈E∑s∈Fu:s<twu,v⋅εu,v(t−s)P_{v}(t):=\sum u: u, v>\in E \sum_{s \in F_{u}: s<t} w_{u, v} \cdot \varepsilon_{u, v}(t-s)Pv(t):=∑u:u,v>∈Es∈Fu:s<t∑wu,v⋅εu,v(t−s)

可以看到，一个脉冲对神经元的影响不是瞬时的，而是由脉冲响应核ε\varepsilonε控制的，对膜电势的影响随时间变化如图2所示。在无噪声模型中，PvP_vPv到达θ(t−t′)\theta(t-t')θ(t−t′)时就发放脉冲。
脉冲神经元模型的噪声版本：Pv−θP_v-\thetaPv−θ控制发放脉冲的概率。以及发放脉冲的精准时间取决于某些随机过程，比如在Pv−θ>0P_v-\theta>0Pv−θ>0时不发放而在Pv−θ<0P_v-\theta<0Pv−θ<0时发放。
A型网络：ε\varepsilonε和θ\thetaθ如下图：
而B型的ε\varepsilonε如下图所示：

文章紧接着分析了这两种模型对几个经典逻辑运算的计算能力。具体的分析用到再看。

开山之作：Maass、1997：Networks of Spiking Neurons: The Third Generation of Neural Network Models相关推荐

彻底讲透FCN语义分割开山之作Fully Convolutional Networks
FCN论文标题:Fully Convolutional Networks for Semantic Segmentation 论文下载地址:https://arxiv.org/abs/1411.40 ...
Error-backpropagation in temporally encoded networks of spiking neurons 误差传播在时间编码的脉冲神经网络
摘要监督学习的规则:spikeprop,类似于传统的误差反向传播.根据这个理论,我们论证了脉冲神经元可生物可解释性,能够表现复杂的非线性分类能力,通过时间编码的方式,和速率编码的方式一样好.解决了经 ...
联邦学习开山之作代码解读与收获
参考:联邦学习代码解读,超详细_一只揪°的博客-CSDN博客_联邦学习代码参考文献:[1602.05629] Communication-Efficient Learning of Deep Net ...
十本经典开山之作，有希望夺第四届橙瓜网络文学奖作品大奖
网络小说的开山之作绝对不多,能够成为一个流派的开山之作,其影响力绝对不容忽视,特别是那些依然还有很多跟风之作的作品.第四届橙瓜网络文学奖开始了,会对网络文学20年的作品进行评选.个人感觉流派开山之作都 ...
导师：CNN 开山之作 AlexNet 都复现不了，延毕吧！
经常有粉丝问我,当前AI领域学术会议动辄上千篇文章,到底如何才能找到适合自己且值得一读的论文? 想辨别出对自己有用且优秀的论文,就需求积累大量的经典论文,因为前沿技术的更迭都是基于经典Paper的某个 ...
BNN领域开山之作——不得错过的训练二值化神经网络的方法
作者| cocoon 编辑| 3D视觉开发者社区文章目录导读概述方法确定二值化以及随机二值化梯度计算以及累加离散化梯度传播乘法运算优化基于位移(shift)的BN 基于位移的AdaM ...
语义分割领域开山之作：Google提出用神经网络搜索实现语义分割
来源: AI科技评论 1. Introduction 在 arxiv 浏览论文的时候,单独看文章名不知道属于 CV 哪个领域,怀着对一作 Liang-Chieh 敬畏的心,在摘要中扫描到 PASCAL ...
文本匹配开山之作--双塔模型及实战
作者 | 夜小白整理 | NewBeeNLP 在前面一篇文章中,总结了Representation-Based文本匹配模型的改进方法, 基于表征(Representation)的文本匹配.信息检索. ...
QEMU 源代码阅读经验开山之作
头一次在阿里云栖社区写blog,想来想去想到最近一直看QEMU的代码.后续我会在这个博客中写一些QEMU代码的分析心得.希望有人捧场.暂时先写这么一点作为开山之作的引子. 写在博客开启之日,感谢我的家 ...

开山之作：Maass、1997：Networks of Spiking Neurons: The Third Generation of Neural Network Models

开山之作：Maass、1997：Networks of Spiking Neurons: The Third Generation of Neural Network Models相关推荐

最新文章

热门文章