深度学习基础--不同网络种类--尖峰神经网络/脉冲神经网络(spiking neural network, snn)
尖峰神经网络/脉冲神经网络(spiking neural network, snn)
是三代神经网络模型，属于计算神经科学，动物的神经网络大多是脉冲神经网络。
资料不多，而且大多是外文
本来想用它处理音频事件的，看了一段时间后发现，就目前而且，它好像不太适合处理音频这样的时序信号，更适合处理图像。所以大多论文也是把音频转化为图像信息后，进行图像处理，然后再转回到音频。
不过，现在还是CNN更实用，SNN是未来趋势。
想拿这个找工作，那你就是想多了。第二代神经网络才是目前工业界的主流。SNN这种第三代网络，目前更多的是活跃在学术界。SNN充满前景，但是目前还不是主流。
名词解释
除了神经元和突触的状态，SNNS也结合时间的概念到他们的运作模式。这个想法是SNN 中的神经元不会在每个传播周期中发射（就像在典型的多层感知器网络中发生的那样），而是仅在膜电位 - 与其膜电荷有关的神经元的内在质量 - 达到特定值。当一个神经元发生火灾时，它会产生一个信号传播到其他神经元，然后根据这个信号增加或减少它们的电位。
由于脉冲神经网络传递的是一个个脉冲，它们组成了一个脉冲序列，单个脉冲之间的时间间隔不一定，脉冲序列中蕴含了temporal information，这是传统的人工神经网络所不能表达的。 除此之外，脉冲神经网络中的每个神经元只有接收到一个脉冲时，才需要进行计算，功耗更低，计算更快；而传统人工神经网络需要一层层的计算，计算量要大很多。
时间编码表明单个尖峰神经元可以代替S形神经网络上的数百个隐藏单元。
另外，用随机脉冲而非模拟数值可以被看做 dropout 在神经系统中的实现形式。这个论点基于统计，即大脑中的参数量非常大(10^14)，相比之下可用的训练数据量则很少。训练一个远大于数据的模型要避免过拟合。其中一个方法是 dropout：在每次训练时随机忽略一些单元。这样就可以实现参数的正则化（regularization）。
深度学习基础--不同网络种类--尖峰神经网络/脉冲神经网络(spiking neural network, snn)相关推荐
- 深度学习基础--不同网络种类--双向深度网络(bi-directionaldeep networks, BDDN)
深度神经网络可以分为3类: 1)前馈深度网络(feed-forwarddeep networks, FFDN) 2)反馈深度网络(feed-back deep networks, FBDN) ...
- 深度学习基础--不同网络种类--深度置信网络(DBN)
深度置信网络(DBN) RBM的作用就是用来生成似然分布的互补先验分布,使得其后验分布具有因子形式. 因此,DBN算法解决了Wake-Sleep算法表示分布难以匹配生成分布的难题,通过RBM使 ...
- 深度学习基础--不同网络种类--反馈深度网络(feed-back deep networks, FBDN)
深度神经网络可以分为3类: 1)前馈深度网络(feed-forwarddeep networks, FFDN) 2)反馈深度网络(feed-back deep networks, FBDN) ...
- cs230 深度学习 Lecture 2 编程作业： Logistic Regression with a Neural Network mindset
本文结构: 将 Logistic 表达为 神经网络 的形式 构建模型 导入包 获得数据 并进行预处理: 格式转换,归一化 整合模型: A. 构建模型 a. 初始化参数:w 和 b 为 0 b. 前向传 ...
- 深度学习基础--分类网络
一.LetNet LetNet网络是CNN网络的鼻祖,定义了CNN的基本部件:卷积层.池化层全连接层等. 二.AlexNet 主要特点: 1.使用ReLU函数作为CNN的激活函数: 2.Dropout ...
- 【图解深度学习】连小学生都能看懂的深度学习基础总结【第一章什么是神经网络？】
- 深度学习基础之卷积神经网络
摘要 受Hubel和Wiesel对猫视觉皮层电生理研究启发,有人提出卷积神经网络(CNN),Yann Lecun 最早将CNN用于手写数字识别并一直保持了其在该问题的霸主地位.近年来卷积神经网络在多个 ...
- 【深度学习基础】一步一步讲解卷积神经网络
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送 本文转自:一步一步讲解卷积神经网络 卷积神经网络(Convoluti ...
- 独家思维导图！让你秒懂李宏毅2020深度学习（三）——深度学习基础（神经网络和反向传播部分）
独家思维导图!让你秒懂李宏毅2020深度学习(三)--深度学习基础(神经网络和反向传播部分) 长文预警!!!前面两篇文章主要介绍了李宏毅视频中的机器学习部分,从这篇文章开始,我将介绍李宏毅视频中的深度 ...
最新文章
- 区区几行Python代码，一分钟搞定一天工作量
- python读取math_怎么使用python安装math库？怎么用？
- 2018-2019-2 网络对抗技术 20165305 Exp6 信息搜集与漏洞扫描
- python Lambda 表达式
- mysql禁止明文密码_暂时在MySQL *中存储明文密码是否安全*？
- word如何去除某一页的页眉
- Amazon软件开发工程师面试题
- Mac运行ftp报错Error: JAVA_HOME is not defined correctly.
- 通过js引入本地图片地址
- Document.readyState 如何使用和侦听
- Freemarker操作word文档
- opengl对图像进行腐蚀和膨胀
- ESP8266-01 使用 Arduino IDE
- Spring :singleton和protype区别
- Tensorboard可视化
- 【转】黑客文化的精髓
- 锐捷交换机配置ssh password登录命令
- C# 深入单例（回笼）
- Mongodb查找最大值总结
- 菜鸟如何使用阿里云搭建服务器网站（使用宝塔面板）②