摘要

监督学习的规则：spikeprop，类似于传统的误差反向传播。根据这个理论，我们论证了脉冲神经元可生物可解释性，能够表现复杂的非线性分类能力，通过时间编码的方式，和速率编码的方式一样好。解决了经典的“异或”问题。所需要的神经元数量更少。此外，我们还发现，在脉冲网络中，只有当使用时间常数大于编码间隔的脉冲响应函数时，才能完成可靠的时间计算，正如理论考虑所预测的那样。

介绍

对于在短时间内的速率代码计算，它通常被相信：在生物神经系统中，大量脉冲神经元的反应被集合起来，来获取一个瞬间的平均放电率。

误差反向传播

理论的目标是为了学习一系列目标放电时间，可以认为是{tjd}\{t_j^d\}{tjd}。其中jjj代表第jjj个输出的神经元。一系列输入模式{P[t1……th]}\{P[t_1……t_h]\}{P[t1……th]},定义了一个单个的输入模式，被描述，通过一个单个脉冲时间，对于每一个神经元h∈Hh\in Hh∈H
H代表输入层，I代表隐藏层，J代表输出层。
我们选择了最小均方误差函数为代价函数，像其他的比如说，交叉熵也是可以的。给定的要求的时间{tjd}\{t_j^d\}{tjd}和实际的放电时间tja{t_j^a}tja,这个误差函数被定义为：
E=1/2⋅∑j∈J(tja−tjd)2E=1/2·\sum_{j\in J}(t_j^a-t_j^d)^2E=1/2⋅∑j∈J(tja−tjd)2
权重设置为wijkw^k_{ij}wijk

后面的公式实在是太多了、、、、、不看了

异或问题

为了解码异或问题，我们假设0位“晚”的脉冲发放时间，1代表“早”的脉冲发放时间。我们用以下来解码异或：

我们使用第三个（偏置神经元）输入神经元在我们的网络中，让它总是在t=0的时候放电，用来指定参考的开始时间。我们定义不同的时间间隔，在0和1之间，使用代码间隔ΔT\Delta TΔT,对应的例子就是6ms。网络由3个输入神经元，5个隐藏神经元，1个输出神经元。
既有抑制性神经元，又有兴奋性神经元是不收敛的。

其他基准问题

脉冲连续时间输入变量

为了把值编码进时间模式，这是十分重要的：把高度的刺激的神经元早些放电，低等刺激的神经元晚些放电或者不放电。
输出的分类被编码，根据赢者通吃的策略

结论

本文通过反向传播输出时的时间误差，导出了前馈脉冲神经网络的学习规则。这个结果在小的时间学习率上工作的很好，在突触后脉冲时间常数远远大于最大时间编码范围的时候也工作良好。
这个理论也论证了，在直接方式上，脉冲神经网络能够携带复杂的、非线性的任务，通过时间编码，
SpikeProp假说能够表现正确分类，在非线性数据集上，和传统的sigmoidal网络很相近的能力。

Error-backpropagation in temporally encoded networks of spiking neurons 误差传播在时间编码的脉冲神经网络相关推荐

开山之作：Maass、1997：Networks of Spiking Neurons: The Third Generation of Neural Network Models
先来一个机翻译文句子摘要: 这篇文章不假定关于脉冲神经元的先验知识,它包含了大量的参考文献,这些文献涉及到脉冲神经元网络中的计算和神经生物学的相关结果. 第一代是基于McCulloch-Pitts神 ...
类脑运算--脉冲神经网络（Spiking Neural Network）发展现状
类脑运算–脉冲神经网络(Spiking Neural Network)发展现状前一段时间忙于博士论文的攥写和答辩, 抱歉拖更继上一章: 类脑运算–脉冲神经网络(Spiking Neural Net ...
脉冲神经网络：MATLAB实现脉冲神经网络(Spiking Neural Network，SNN) 用于图像分类（提供MATLAB代码）
一.脉冲神经网络脉冲神经网络 (Spiking Neural Network,SNN) ,是第三代神经网络.其旨在弥合神经科学和机器学习之间的差距,使用最拟合生物神经元机制的模型来进行计算,更接近生 ...
深度学习基础--不同网络种类--尖峰神经网络/脉冲神经网络(spiking neural network, snn)
尖峰神经网络/脉冲神经网络(spiking neural network, snn) 是三代神经网络模型,属于计算神经科学,动物的神经网络大多是脉冲神经网络. 资料不多,而且大多是外文本 ...
BP反向传播算法浅谈（Error Back-propagation）
最近在打基础,大致都和向量有关,从比较基础的人工智能常用算法开始,以下是对BP算法研究的一个小节. 本文只是自我思路的整理,其中举了个例子,已经对一些难懂的地方做了解释,有兴趣恰好学到人工智能对这块 ...
BP算法浅谈（Error Back-propagation）
最近在打基础,大致都和向量有关,从比较基础的人工智能常用算法开始,以下是对BP算法研究的一个小节. 本文只是自我思路的整理,其中举了个例子,已经对一些难懂的地方做了解释,有兴趣恰好学到人工智能对这块不 ...
From detailed models to formal spiking neurons
Reduction of the Hodgking-Huxley model type II Another way of approximation, compare to two phase an ...
使用两种脉冲神经网络（Spiking Neural Network）预测脑电图的癫痫发作：基于LIF神经元模型的实践与分析
亲爱的读者,你好.在此,我想和你分享一项在脑电图分析领域的研究,这是我近期进行的一项尝试,希望它能给你带来一些启发.我们试图使用两种脉冲神经网络(SNN)模型来预测脑电图的癫痫发作,虽然我们目前的进展 ...
脉冲神经网络_【强基固本】脉冲神经网络（SNN）
"强基固本,行稳致远",科学研究离不开理论基础,人工智能学科更是需要数学.物理.神经科学等基础学科提供有力支撑,为了紧扣时代脉搏,我们推出"强基固本"专栏,讲解 ...

Error-backpropagation in temporally encoded networks of spiking neurons 误差传播在时间编码的脉冲神经网络

摘要

介绍

误差反向传播

异或问题

其他基准问题

脉冲连续时间输入变量

结论

Error-backpropagation in temporally encoded networks of spiking neurons 误差传播在时间编码的脉冲神经网络相关推荐

最新文章

热门文章