学习笔记，仅供参考，有错必纠

---

---

Deep Sparse Rectifier Neural Networks

Abstract

本文提出一种RELU激活函数，该激活函数可以激发稀疏性，可以获得与双曲正切函数(Tanh)等同,甚至更好的效果.

Introduction

计算神经模型和机器学习中的神经网络具有一定的差异. 这种差异可以被RELU激活函数消除.

Background

The main gaps that we wish to consider between computational neuroscience models and machine learning models are the following:

• 大脑中神经元只有少部分(1%-4%)处于工作状态，也就是有稀疏性。 如果不使用L1正则化，则神经网络很难达到稀疏的状态。

• 一种常见的生物学模型 leaky integrate-and-fire(LIF)如下所示
  
  输入电流与 firing rate的关系图如下所示，可以看到，当电流较小时，firing rate一直为0；当输入电流达到一定程度时，firing rate的值才大于0；随着电流越大，firing rate逐渐增长，但是增长速率也在逐渐降低.

Deep Rectifier Networks

本文提出一种RELU激活函数rectifier(x)=max(0,x)rectifier(x) = max(0,x)rectifier(x)=max(0,x)，当输入信号到达阈值时，该激活函数才会非0. 下图中的右图为RELU激活函数图，左图为应用了RELU激活函数的神经网络结构，可以看到当使用RELU激活函数时，部分神经元的输出为0，则此时神经网络具有系数性…

Experimental Study

Image Recognition

实验结果

实验中，在4个数据集上使用3个激活函数，并分别采用使用无监督预训练(受限玻尔兹曼机：Restricted Boltzmann machines)和不使用无监督预训练的方式进行实验. 由结果可知，利用RBF对模型进行预训练对基于RELU激活函数的神经网络影响不大. 同时，使用RELU激活函数，可以得到与使用Tanh匹敌，甚至更好的结果.

稀疏性实验结果

下图中，横坐标为稀疏度，纵坐标为错误率. 可以看出当系数率在[75%, 85%]的范围内，错误率较低，但是随着稀疏度的增高，错误率逐渐上升.

半监督与监督学习

针对RELU激活函数来说，在半监督情况下，预训练会得到很好的模型性能提升效果. 但是随着标签数量的上升(监督学习)，是否对模型进行预训练的效果将没有显著区别.

Conclusion

RELU激活函数可以在不使用预训练的情况下，提高模型的性能，以获得更好的结果.

在人工神经网络中，稀疏性在[50%, 80%]的范围会得到较好的结果. 但是生物神经网络中，稀疏性可达到[95%, 99%].

经典DL论文研读(part2)--Deep Sparse Rectifier Neural Networks相关推荐

1. 经典DL论文研读(part4)--ImageNet Classification with Deep Convolutional Neural Networks

   学习笔记,仅供参考,有错必纠 文章目录 ImageNet Classification with Deep Convolutional Neural Networks 摘要 Introduction ...

2. 经典DL论文研读(part1)--Understanding the difficulty of training deep feedforward neural networks

   学习笔记,仅供参考,有错必纠 文章目录 Understanding the difficulty of training deep feedforward neural networks Abstra ...

3. 经典DL论文研读(part3)--Improving neural networks by preventing co-adaptation of feature detectors

   学习笔记,仅供参考,有错必纠 文章目录 Improving neural networks by preventing co-adaptation of feature detectors Abstr ...

4. 论文阅读--PVANET: Deep but Lightweight Neural Networks for Real-time Object Detection

   为什么80%的码农都做不了架构师?>>>    论文地址:https://arxiv.org/abs/1608.08021 算法实现:https://github.com/Charl ...

5. PVANET: Deep but Lightweight Neural Networks for Real-time Object Detection

   PVANET: Deep but Lightweight Neural Networks for Real-time Object Detection 传送门:      论文:https://www ...

6. Rectifier (neural networks) - 整流函数

   Rectifier (neural networks) - 整流函数 https://en.wikipedia.org/wiki/Rectifier_(neural_networks) 线性整流函数 ...

7. 【文本分类】Deep Pyramid Convolutional Neural Networks for Text Categorization

   ·阅读摘要:   本文提出了DPCNN(深度金字塔CNN)模型.在transformer.bert还没兴起的年代,模型越深效果越好,但是模型的复杂度会随着深度提升.粗略地说,DPCNN就是为了解决CN ...

8. 遥感图像-Deep Feature Alignment Neural Networks for Domain Adaptation of Hyperspectral Data高光谱数据深度特征对齐神经

   Deep Feature Alignment Neural Networks for Domain Adaptation of Hyperspectral Data高光谱数据领域自适应的深度特征对齐神 ...

9. 每天一篇论文 323/365 Designing Energy-Efficient Convolutional Neural Networks using Energy-Aware Pruning

   每天一篇论文汇总list Designing Energy-Efficient Convolutional Neural Networks using Energy-Aware Pruning 摘要 ...

最新文章

1. 只引入部分elementui_腾讯动漫确定引入假面骑士亚极陀和甲斗王 四仔：是不是玩不起...
2. [前端优化]使用Combres合并对js、css文件的请求
3. xcode 配置wechat_友盟微信、QQ等分享提示未验证应用配置
4. 数据可视化详解+代码演练
5. context创建过程解析（一）之deployDescriptors
6. MySQL学习笔记2：数据库的基本操作
7. python ui自动化_python-UI自动化
8. 如何做好企业SWOT分析？用这个企业项目设计工具就足够了！
9. html 打开高德地图，根据经纬度定位到某个地方（位置标注）
10. 重构：改善既有代码的设计 阅读笔记
11. nginx常用配置和用法
12. 个子矮s弯如何看点打方向图解_s弯如何看点打方向图解?s弯方向盘打法口诀
13. 机器学习过程步骤总结
14. JAVJ输出二进制数字
15. 系统认证风险预测-Baseline
16. 【教程】dropbox+droppages搭建静态网页
17. appium验证码输入笔记
18. 【科学文献计量】中英文文献标题及摘要用词情感分析与可视化
19. 如何下载东城区卫星地图高清版大图
20. (三) 立创EDA原理图库的创建

热门文章

1. python 的几个内置函数（lambda ,zip, filter, map, reduce ）用法
2. windows下面的文件拷贝到linux下面出现乱码
3. mysql-workbench中用select in对变量赋值
4. ubuntu下面解决mysqld_safe Directory '/var/run/mysqld' for UNIX socket file don't exists
5. 图像工程 CH6图像校正和修补
6. 7.4.5 鲁棒主成分分析 PCA
7. const char* p 、char* const p、const (char*) p 理解记忆
8. linux输入命令对话框,linux里命令的对话框whiptail
9. 报任安书文言现象_干货丨文言文句式详解，快点收藏！
10. 17：附近最大的城市