关于激活函数的思考（zig-zagging dynamics）

我们在学习深度学习的时候会介绍几种激活函数，从Sigmod到RELU，在讲述特性的时候，都会提到像sigmod和RELU这样的激活函数有个问题就是none-zero-centered，即均值非0。这时候就有个缺点被称为zig-zagging dynamics（即锯齿状）。但是很少有展开解释为什么的，为什么会产生这样的收敛图。经过查阅资料，有一篇写的很好：

neural networks - Why are non zero-centered activation functions a problem in backpropagation? - Cross Validated

也就是我们假设函数为Wx+b，激活函数为SIgmod，我们知道的Sigmod的导数样子为

是恒大于0的，导数的正负完全由x的正负决定。那么我们达到最优解可能就需要：

如图所示走一个锯齿状的路线，即收敛速度就会较慢，即zig-zagging dynamics现象。

那么有同学就要问了——为什么和均值是否为0有关呢？均值为0为什么就不会有这种现象了呢？

因为均值为0，除非恒为0，否则函数的导数不能一直为正，这样就可以避免这样的zigzag路径了。

关于激活函数的思考（zig-zagging dynamics）相关推荐

【激活函数】ReLU激活函数的思考
优点: a. 克服梯度消失的问题 b. 加快训练速度缺点: a. 0 点连续不可导(直上直下),梯度下降过程中不那么流畅. b. ReLU 只有正值,没有负值,bp 时有 zigzag 现象, 容易 ...
word2vec思考：word2vec为什么不使用非线性激活函数？
word2vec不是为了做语言模型,它不需要预测得更准.另外,不使用非线性激活函数可以使函数更简单,加快网络训练,也会使训练出来的词大量线性相关,这正是我们需要的.
为什么神经网络的激活函数必须使用线性函数？
什么是线性函数? 函数本来是输入某个值后会返回一个值的转换器.向这个转换器输入某个值后,输出值是输入值的常数倍的函数称为线性函数(用数学式表示为h(x) = cx. c为常数).因此,线性函数是一条笔 ...
周志华教授：关于深度学习的一点思考！
周志华,毕业于南京大学,欧洲科学院外籍院士,国家杰出青年基金获得者,现任南京大学人工智能学院院长.南京大学计算机软件新技术国家重点实验室常务副主任.机器学习与数据挖掘研究所 (LAMDA)所长.人工智 ...
周志华教授：关于深度学习的一点思考
视学算法报道来源:专知 [新智元导读]什么是深度学习?深度神经网络为什么要「深」?它成功背后的关键因素是什么?深度学习只能是深度神经网络吗?南京大学人工智能学院院长.计算机系主任周志华教授对 ...
「AI初识境」激活函数：从人工设计到自动搜索
https://www.toutiao.com/a6694433329048977927/ 这是专栏<AI初识境>的第4篇文章.所谓初识,就是对相关技术有基本了解,掌握了基本的使用方法. ...
PNAS：大脑一思考，就不再对称也不再平衡
来源: 集智俱乐部作者:郭瑞东审校:张澳编辑:邓一雪导语生命系统的各种功能,从精神层面的思考,到物理层面的运动,都会消耗能量并产生熵,打破原有的平衡.但不同的认知或物理活动,产生的熵 ...
【数字孪生】关于数字孪生的冷思考及其背后的建模和仿真技术
来源:系统仿真学报张霖北京航空航天大学教授.曾任国际建模仿真学会(SCS)主席,北航自动化学院副院长等,现为ASIASIM主席,中国仿真学 ...
【边缘计算】对边缘计算的理解与思考
来源:边缘计算社区在2019年第三届边缘计算技术研讨会上华为高级产业发展经理.ECC需求与总体组副主席黄还青发表了<ECC及华为在边缘计算领域的思考与实践>主题演讲,本文为黄还青演讲中对 ...

关于激活函数的思考（zig-zagging dynamics）

关于激活函数的思考（zig-zagging dynamics）相关推荐

最新文章

热门文章