非饱和神经元（non-saturating neurons）
什么是非饱和神经元（non-saturating neurons）
在读AlexNet文章时，在Abstract中发现有non-saturating neurons一词，于是想知道什么是non-saturating neurons。参考知乎回答：https://www.zhihu.com/question/264163033/answer/277468264
含义
non-saturating neurons = 没有被挤压（到一个特定的区间）处理过的值saturating neurons = 被挤压（到一个特定的区间）过的值
关键:1.值是否被挤压 2.值有无最大最小限制输出saturating neurons的activation：
sigmoid: input neurons的值会被挤压到[0,1]的区间
tanh：input neurons的值会被挤压到[-1,1]的区间
输出non-saturating neurons 的activation：
relu：input neurons的值，要么变0， 要么保持原值（无挤压，无最大最小值限制）
leaky_relu：input neurons的值， 要么按照某比例缩小，要么保持原值（无挤压，无最大最小值限制）
为什么要用relu这样的能生成non-saturating neurons的non-linear activations, 而不用生成saturating neurons的sigmoid或tanh?
规避vanishing, exploding of gradients 带来的gradient值过大过小，导致训练效率低下。
非饱和神经元（non-saturating neurons）相关推荐
- non-saturating neurons非饱和神经元、saturating neurons饱和神经元 的含义和区别
参考知乎回答:https://www.zhihu.com/question/264163033 含义: non-saturating neurons = 没有被挤压(到一个特定的区间)处理过的值 sa ...
- non-saturating neurons非饱和神经元
输出saturating neurons的activation: sigmoid: input neurons的值会被挤压到[0,1]的区间 tanh:input neurons的值会被挤压到[-1, ...
- 独家 | 人工神经网络中发现了人类大脑拥有的多模态神经元（附链接）
作者:Gabriel Goh, Chelsea Voss, Daniela Amodei, Shan Carter, Michael Petrov, Justin Jay Wang, Nick Cam ...
- 北京大学 微软：预训练模型（Transformer）中的知识神经元
©作者 | 方鱼 单位 | 北京科技大学 研究方向 | 问答系统 大型预训练语言模型能很好的记忆训练语料中的事实知识.在这篇文章中,我们探究隐式知识如何存储在预训练 Transformers 中,引出 ...
- Brian2学习笔记一 Introduction to Brian part1:Neurons
Brian2学习笔记一 Introduction to Brian part 1 :Neurons 1. 前言 2. 正文 2.1 单位系统(Units system) 2.2 一个简单的模型(A s ...
- Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks
写在前面 这个是对 这篇论文主要解决了一个问题: 提出了ON-LSTM框架 理解这个ON-LSTM框架也是比较重要 推介https://blog.csdn.net/c9Yv2cf9I06K2A9E/a ...
- Hinton Neural Networks课程笔记1c：几种激活函数Linear、Binary、ReLU、Stochastic binary neurons
转载自:https://blog.csdn.net/silent56_th/article/details/75736028 本章简单介绍了一些神经元的激活函数,包括Linear.Binary.ReL ...
- 论文研读 —— 6. ImageNet Classification with Deep Convolutional Neural Networks (2/3)
文章目录 3. The Architecture 3.1. ReLU Nonlinearity 3.2. Training on Multiple GPUs 3.3. Local Response N ...
- 《每日论文》ImageNet Classification with Deep Convolutional Neural Networks
这篇论文是剖析 CNN 领域的经典之作,也是入门 CNN 的必读论文.作者训练了一个面向数量为 1.2 百万的高分辨率的图像数据集 ImageNet, 图像的种类为 1000 种的深度卷积神经网络. ...
最新文章
- 在离线环境中安装Visual Stuido 2017
- Hash-哈希/散列
- SSH学习-Hibernate对象生命周期管理
- JavaFX自定义控件– Nest Thermostat第2部分
- activitimq集群搭建_activitmq+keepalived+nfs 非zk的高可用集群构建
- h5文字垂直居中_CSS中垂直居中和水平垂直居中的方法
- .NET、TensorFlow和Kaggle的风车
- python安装request失败_在python 虚拟环境下使用命令pip install -r request 安装软件失败？...
- 图档生成bin文件_「嵌入式笔记」hex文件、bin文件、axf文件的区别？
- c++ primer plus(第6版)中文版 第十二章编程练习答案
- DHCP DHCPv6
- 修改页面变成灰色代码修改方法
- composer更换国内镜像地址
- Spark高级分析与机器学习笔记
- 项目管理之如何做好项目经理
- 运动控制器轴回零的配置与实现
- 虾皮API接口—获取商品详情
- 教师节祝福语太单调？来用PaddleHub生成独家祝福语
- 互联网早报：腾讯 QQ“兴趣部落”宣布全面停止运营并下线....
- 程序员小猪队友行为大赏