【随笔】激活函数是怎样一种存在？
神经元的工作模型存在“激活（1）”和“抑制（0）”两种状态的跳变，那么理想的激活函数就应该是如图 6-7（a）所示的阶跃函数。
但事实上，在实际使用中，这类函数具有不光滑、不连续等众多不“友好”的特性，使用得并不广泛。为什么说它“不友好”呢，这是因为在训练网络权重时，通常依赖对某个权重求偏导、寻极值，而不光滑、不连续等通常意味着该函数无法“连续可导”。
因此，我们通常用 sigmoid()函数来代替阶跃函数，如图 6-7（b）所示。无论输入值（x）的范围有多大，这个函数都可以将输出挤压在[0,1]范围之内，故此这个函数又被称为“挤压函数（Squashing Function )”。
那么，我们应该怎样理解激活函数呢？实际上，我们还是能从生活中找到相似的影子的（理论，本来就源自人们对生活的抽象）。
比如，如果你的“野蛮女友”打你耳光，当她打你第一个耳光时，你想了很多，考虑她的长相（权重 wy)、身材（权重 wg）、学历（权重wg）、性格（权重 we）、你爱她的程度（权重 ws）以及娶媳妇的难度（权重 we）等因素（这些因素，在机器学习领域，就是研究对象的特征，它们组合在一起就构成了对象的特征空间)。
综合衡量后，你决定忍了，或者说这一切并没有超出你忍耐的阈值（这期间，你也给自己找了一个优雅的台阶：打是亲，骂是爱)。如果把你的忍耐“功能”看作一个函数（回顾一下前面的介绍可以了解，“项能”和“函数”本来就是一个概念——Function)，那么在这种场景下，相当于你的函数输出为0，目前还处于没有被激活状态。
当她打你第二个耳光时，你又想了很多，依然忍了，但上述因素的权重都开始调整了，比如性格权重下降，爱她的程度权重下降等。
……
当她打你第n个耳光时，你终于忍不了了，这时函数输出超出了阈值，你可能扬长而去，也可能哭着喊“要打，也别老打脸啊”。
参考文献：《深度学习之美:AI时代的数据处理与最佳实践》
猜你喜欢：
【随笔】激活函数是怎样一种存在？相关推荐
- 自适应激活函数 ACON：统一ReLU和Swish的新范式
智源导读:本文主要介绍港科大和旷视科技合作,被CVPR2021接收的一篇文章:Activate or Not: Learning Customized Activation. 论文链接:https:/ ...
- CVPR 2021 | 自适应激活函数ACON: 统一ReLU和Swish的新范式
作者丨Ningning MA@知乎(已授权) 来源丨https://zhuanlan.zhihu.com/p/363274457 编辑丨极市平台 [导读]本文提出了一种新的激活函数ACON,可以自适应 ...
- 神经网络中的激活函数的比较
常见激活函数 神经网络中,常见的激活函数有以下几种: 1. sigmoid f(x)=11+e−xf(x) = \frac{1}{1+e^{-x}}f(x)=1+e−x1 f′(x)=f(x)(1− ...
- CVPR 2021 | 自适应激活函数ACON：统一ReLU和Swish的新范式
©作者|马宁宁 学校|香港科技大学博士生 研究方向|计算机视觉 本文提出一种新的激活函数 ACON (activate or not),可以自适应地学习激活与否. ReLU 是最常见的激活函数,最近 ...
- CVPR 2021 | 大幅涨点！新型动态激活函数和轻量级网络TFNet
点上方计算机视觉联盟获取更多干货 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:旷视研究院 AI博士笔记系列推荐 周志华<机器学习>手推笔记正式开源!可打印版本附pdf下载链接 ...
- 3.7 为什么需要非线性激活函数？
linear activation function 线性激活函数 又称 identity activation function 恒等激活函数 如果是线性激活函数,那么神经网络只是输入的线性组合.所 ...
- TensorFlow2.0学习笔记2-tf2.0两种方式搭建神经网络
目录 一,TensorFlow2.0搭建神经网络八股 1)import [引入相关模块] 2)train,test [告知喂入网络的训练集测试集以及相应的标签] 3)model=tf.keras. ...
- python license activation_激活函数activation
TensorFlow的中阶API主要包括: 数据管道(tf.data) 特征列(tf.feature_column) 激活函数(tf.nn) 模型层(tf.keras.layers) 损失函数(tf. ...
- 常用激活函数总结（深度学习）
前言 学习神经网络的时候我们总是听到激活函数这个词,而且很多资料都会提到常用的激活函数,比如Sigmoid函数.tanh函数.Relu函数.在经过一段时间学习后,决定记录个人学习笔记. 一.激活函 ...
最新文章
- APUE读书笔记-03文件输入输出（2）
- Java Selenium起步
- MCtalk对话学吧课堂：真正的K12在线教育才刚刚开始
- msf与cs互相传动
- 如何更新Chrome
- LINUX 文件合并，去重
- BeagleBone Black 板第三课：Debian7.5系统安装和远程控制BBB板
- Java加载Class文件的原理机制
- linux 如何停止mysql,linux下如何启动/停止/重启mysql：
- 桌面运维常见问题解决办法③
- MYSQL如何制作资产负债表_资产负债表该如何制作呢？搞定资产负债表，仅需这5步！...
- JAVA我的世界怎么做成就_Editing 成就/Java版
- 基于PLC的智能化远程养殖监控系统
- python .txt文件转.csv文件-ok
- Linux人才需求与Windows持平 职位“粥多僧少”
- matlab将一列数分割为若干组,将数据拆分为不同组并计算统计量
- 能把晦涩难懂的研究工作讲清楚，Distill就奖你10000美刀
- 瀑布流布局：CSS3多列属性column实现
- 初等三四阶行列式计算器
- 输入日期查星座 php,php根据日期显示所在星座
热门文章