机器学习中的数学——激活函数(一):Sigmoid函数
分类目录:《机器学习中的数学》总目录
相关文章:
· 激活函数:基础知识
· 激活函数(一):Sigmoid函数
· 激活函数(二):双曲正切函数(Tanh函数)
· 激活函数(三): 线性整流函数(ReLU函数)
· 激活函数(四):Leaky ReLU函数
· 激活函数(五):ELU函数
· 激活函数(六):Parametric ReLU(PReLU)函数
· 激活函数(七):Softmax函数
· 激活函数(八):Swish函数
· 激活函数(九):Maxout函数
· 激活函数(十):Softplus函数
· 激活函数(十一):Softsign函数
· 激活函数(十二):高斯误差线性单元(GELUs)
Sigmoid函数是一个在生物学中常见的S型函数,也称为S型生长曲线。在深度学习中,由于其单增以及反函数单增等性质,Sigmoid函数常被用作神经网络的激活函数,将变量映射到[0,1][0, 1][0,1]之间。
S(x)=11+e−xS(x)=\frac{1}{1+e^{-x}}S(x)=1+e−x1
Sigmoid函数的导数可以用其自身表示:
S′(x)=e−x(1+e−x)2=S(x)(1−S(x))S'(x)=\frac{e^{-x}}{(1+e^{-x})^2}=S(x)(1-S(x))S′(x)=(1+e−x)2e−x=S(x)(1−S(x))
Sigmoid函数的特性与优缺点:
- Sigmoid函数的输出范围是0到1。由于输出值限定在0到1,因此它对每个神经元的输出进行了归一化。
- 用于将预测概率作为输出的模型。由于概率的取值范围是0到1,因此Sigmoid函数非常合适
- 梯度平滑,避免跳跃的输出值
- 函数是可微的。这意味着可以找到任意两个点的Sigmoid曲线的斜率
- 明确的预测,即非常接近1或0。
- 函数输出不是以0为中心的,这会降低权重更新的效率
- Sigmoid函数执行指数运算,计算机运行得较慢。
Sigmoid函数及其导数的图像:
机器学习中的数学——激活函数(一):Sigmoid函数相关推荐
- 机器学习中的数学——激活函数(十):Softplus函数
分类目录:<机器学习中的数学>总目录 相关文章: · 激活函数:基础知识 · 激活函数(一):Sigmoid函数 · 激活函数(二):双曲正切函数(Tanh函数) · 激活函数(三): 线 ...
- 机器学习中的数学——激活函数(七):Softmax函数
分类目录:<机器学习中的数学>总目录 相关文章: · 激活函数:基础知识 · 激活函数(一):Sigmoid函数 · 激活函数(二):双曲正切函数(Tanh函数) · 激活函数(三): 线 ...
- 机器学习中的数学——激活函数(四):Leaky ReLU函数
分类目录:<机器学习中的数学>总目录 相关文章: · 激活函数:基础知识 · 激活函数(一):Sigmoid函数 · 激活函数(二):双曲正切函数(Tanh函数) · 激活函数(三): 线 ...
- 机器学习中的数学——激活函数(三): 线性整流函数(ReLU函数)
分类目录:<机器学习中的数学>总目录 相关文章: · 激活函数:基础知识 · 激活函数(一):Sigmoid函数 · 激活函数(二):双曲正切函数(Tanh函数) · 激活函数(三): 线 ...
- 机器学习中的数学——激活函数(五):ELU函数
分类目录:<机器学习中的数学>总目录 相关文章: · 激活函数:基础知识 · 激活函数(一):Sigmoid函数 · 激活函数(二):双曲正切函数(Tanh函数) · 激活函数(三): 线 ...
- 机器学习中的数学——激活函数(八):Swish函数
分类目录:<机器学习中的数学>总目录 相关文章: · 激活函数:基础知识 · 激活函数(一):Sigmoid函数 · 激活函数(二):双曲正切函数(Tanh函数) · 激活函数(三): 线 ...
- 机器学习中的数学(六)--信息论与激活函数
写在前面 <机器学习中的数学>系列主要列举了在机器学习中用到的较多的数学知识,包括微积分,线性代数,概率统计,信息论以及凸优化等等.本系列重在描述基本概念,并不在应用的方面的做深入的探讨, ...
- 机器学习中的数学原理——过拟合、正则化与惩罚函数
通过这篇博客,你将清晰的明白什么是过拟合.正则化.惩罚函数.这个专栏名为白话机器学习中数学学习笔记,主要是用来分享一下我在 机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎 ...
- 我们该如何学习机器学习中的数学
数学在机器学习中非常重要,不论是在算法上理解模型代码,还是在工程上构建系统,数学都必不可少.通常离开学校后很难有机会静下心学习数学知识,因此我们最好能通过阅读小组或读书会等形式营造环境,并专注学习那些 ...
- 机器学习中的数学——粒子群算法(Particle Swarm Optimization, PSO)(三):改进的粒子群算法
分类目录:<机器学习中的数学>总目录 相关文章: · 梯度下降法(Gradient Descent) · 随机梯度下降(Stochastic Gradient Descent, SGD) ...
最新文章
- 机器学习01-定义、线性回归、梯度下降
- 「深度」想当有实体的“贾维斯”,智能家居机器人还需跨越多个桎梏
- Bootstrap css3
- 【原创】MVC+ZTree实现权限树的功能
- Fragment使用--文章集锦
- Datahub Python SDK入门手册
- SpringBoot常用注解说明
- 用Eclipse 统计代码行数小技巧
- flash位图技术研究篇(3):移动缓冲区域
- HCIA--华为认证初级网络工程师
- 如何把握银行信息科技风险管理的“度”?
- SAS硬盘与SATA硬盘的功能对比-SATA硬盘
- 操作系统--windows系列之windows8
- python安装pywifi
- java 数字转英文_一个java的问题 讲输入的阿拉伯数字转换成英文
- tar cvf xvf zcvf zxvf
- 图学习——04.HAN(异构图注意力网络)
- vue中el-radio-group点击事件,双击取消
- Java由今天的日期得到前几天的日期
- Latex实践:一个零Latex基础的术渣花了一天半的时间用Latex完成一篇SCI论文编辑