1.简介

激活函数是深度神经网络中每一个神经元线性加权计算结果的非线性处理，赋予神经网络非线性映射能力。每一种激活函数都有不同的功能，本篇主要介绍sigmoid激活函数。
sigmoid激活函数应该是深度神经网络最先使用的激活函数，主要用于逻辑回归（logistic regression），实现二分类功能。sigmoid函数的公式如下：
S(x)=11+e−xS(\relax{x}) = \cfrac{1}{1 + e^{-x}} S(x)=1+e−x1
sigmoid函数y值的取值范围是（0,1）。

4.pytorch代码

import torch
import torch.nn.functional as F
import matplotlib.pyplot as pltx=torch.linspace(-5,5,200) #制造数据，-5~5之间等距离取200个点作为x坐标值
x_np=x.numpy() #tensor转成numpy形式
y_sigmoid=torch.sigmoid(x).numpy() #用sigmoid函数求值plt.plot(x_np,y_sigmoid,c='red',label='sigmoid') #画图
plt.ylim(-0.2,1.2)
plt.legend(loc='best')
plt.show()

5.效果

深度学习--激活函数之sigmoid激活函数相关推荐

DL之AF：机器学习/深度学习中常用的激活函数(sigmoid、softmax等)简介、应用、计算图实现、代码实现详细攻略
DL之AF:机器学习/深度学习中常用的激活函数(sigmoid.softmax等)简介.应用.计算图实现.代码实现详细攻略目录激活函数(Activation functions)相关配图各个激活 ...
激活函数、Sigmoid激活函数、tanh激活函数、ReLU激活函数、Leaky ReLU激活函数、Parametric ReLU激活函数详细介绍及其原理详解
相关文章梯度下降算法.随机梯度下降算法.动量随机梯度下降算法.AdaGrad算法.RMSProp算法.Adam算法详细介绍及其原理详解反向传播算法和计算图详细介绍及其原理详解激活函数.Sigmo ...
深度学习中常用的激活函数详解及对比分析（sigmoid）
Sigmoid函数: 特性: 1.当变量值远离中心轴时,梯度几乎为0,在神经网络的反向传播过程中,链式求导导致经过sigmoid函数之后的梯度很小,权重值更新较慢 2.计算机执行指数运算较慢 3.s ...
【深度学习的数学】激活函数的作用是什么？
转载文章:神经网络激活函数的作用是什么? Donlta备注不带激活函数的单层感知机是一个线性分类器,无法解决线性不可分(分类)问题不带激活函数的多层感知机(带隐藏层)合并后也是一个线性分类器,也无 ...
深度学习中的gelu激活函数详解
论文:gaussian error linear units (一).什么是激活函数? 激活函数的本质就是给网络模型增加非线性,也就是在wTx+bw^Tx+bwTx+b等线性变换后面加一个非线性变换, ...
8个深度学习中常用的激活函数
激活函数,又称转换函数,是设计神经网络的关键.激活函数在某种意义上是重要的,因为它被用来确定神经网络的输出.它将结果值映射为0到1或-1到1等(取决于函数).激活函数还有另一个名称,称为Squashi ...
深度学习二 —— 手撕激活函数(阶跃函数、sigmoid、tanh、ReLu、Leaky ReLu)
文章目录手撕激活函数 1. 阶跃函数公式代码 2. sigmoid 公式代码 3. 阶跃函数与 sigmoid函数比较相同点不同点 4. tanh 函数公式代码 5. sigmoid ...
【深度学习基础】01激活函数：Sigmoid、Tanh、ReLU、Softmax系列及对应的变体
目录 Sigmoid系列 1. 优点:输出[0,1].平滑易于求导 2. 缺点:计算量大.梯度消失.不易收敛 3. Sigmoid变体:HardSigmoid.Swish. Tanh系列 1. 优点: ...
系统学习深度学习（九）--激活函数总结
https://zhuanlan.zhihu.com/p/22142013这个文章,写的接地气,强烈推荐. http://www.cnblogs.com/rgvb178/p/6055213.html类 ...
（深度学习入门）sigmoid型函数和 sigmoid函数的区别
Sigmoid 型函数 Sigmoid 型函数是指一类S型曲线函数,常用的Sigmoid 型函数有Logistic 函数和Tanh 函数. sigmoid函数 sigmoid函数也叫Logistic函 ...

深度学习--激活函数之sigmoid激活函数

1.简介

4.pytorch代码

5.效果

深度学习--激活函数之sigmoid激活函数相关推荐

最新文章

热门文章