softmax与sigmoid的区别

softmax与sigmoid这两者之间区别其实还不小，还是先看两者结构上的区别：

可以看出最大的区别在于softmax的计算的是一个比重，而sigmoid只是对每一个输出值进行非线性化。
二者在结果上很相似，对于 n l n^l nl个神经元，无论是进行softmax还是sigmoid，输出都是 n l n^l nl个取值在 ( 0 , 1 ) (0,1) (0,1)的数(softmax 可能取 [ 0 , 1 ] [0,1] [0,1])，区别就在于softmax是一个针对输出结果归一化的过程，所以很多文献里也称作softmax层；而sigmoid只是一个非线性激活过程，所以一般称为激活函数。
二者公式上也并不是直接归一化的关系：
sigmoid: 1 1 + e z \frac{1}{1+e^z} 1+ez1
softmax: e z k ∑ i = 1 n l e z i \frac{e^{z_k}}{\sum_{i=1}^{n^l} e^{z_i}} ∑i=1nleziezk

但是当输出层为一个神经元时，此时会使用sigmoid代替softmax，因为此时还按照softmax公式的话计算值为1。

softmax一般用于多分类的结果，一般和one-hot的真实标签值配合使用，大多数用于网络的最后一层；而sigmoid是原本一种隐层之间的激活函数，但是因为效果比其他激活函数差，目前一般也只会出现在二分类的输出层中，与0 1真实标签配合使用。

softmax与sigmoid的区别相关推荐

三分钟认知Softmax和Sigmoid的详细区别
目录前言 1. Softmax 2. Sigmoid 3. 总结前言 Softmax以及Sigmoid这两者都是神经网络中的激活函数,对应还有其他的激活函数引入激活函数是为了将其输入非线性化,使 ...
如何用softmax和sigmoid来做多类分类和多标签分类
首先,说下多类分类和多标签分类的区别多标签分类: 一个样本可以属于多个类别(或标签),不同类之间是有关联的,比如一个文本被被划分成"人物"和"体育人物"两个标 ...
【神经网络】激活函数softmax，sigmoid，tanh，relu总结
激活函数使用原因如果不用激励函数,每一层输出都是上层输入的线性函数,无论神经网络有多少层,输出都是输入的线性组合. 如果使用的话,激活函数给神经元引入了非线性因素,使得神经网络可以任意逼近任何非线性 ...
【机器学习基础】Softmax与Sigmoid你还不知道存在这些联系？
1. Sigmoid函数函数也叫函数,将输入值压缩到区间之中,其函数表达式为: 函数图像如图所示: 其求导之后的表达式为: 其梯度的导数图像如: 对于函数,其优点为: 函数的输出在之间,我们 ...
【机器学习】Softmax和Sigmoid
如果你在开发一个音乐分类的应用,需要对k种类型的音乐进行识别,那么是选择使用 softmax 分类器呢,还是使用 logistic 回归算法建立 k 个独立的二元分类器呢? 这一选择取决于你的类别之间 ...
torch.sigmoid、torch.nn.Sigmoid和torch.nn.functional.sigmoid的区别
review代码的时候发现我使用的是torch.sigmoid,pycharm标黄cannot find reference 'sigmoid' in '__init__.py'于是产生了这样的疑 ...
常用激活函数activation function（Softmax、Sigmoid、Tanh、ReLU和Leaky ReLU) 附激活函数图像绘制python代码
激活函数是确定神经网络输出的数学方程式. 激活函数的作用:给神经元引入了非线性因素,使得神经网络可以任意逼近任何非线性函数. 1.附加到网络中的每个神经元,并根据每个神经元的输入来确定是否应激活. 2 ...
【李沐】softmax回归-1.使用交叉熵作为损失函数而不是MSE均方误差-（意思就是为什么经过了softmax之后不用MSE） 2.softmax与sigmoid
2. 交叉熵的来源 2.1 信息量一条信息的信息量大小和它的不确定性有很大的关系.一句话如果需要很多外部信息才能确定,我们就称这句话的信息量比较大.比如你听到"云南西双版纳下雪了" ...
PyTorch学习笔记——softmax和log_softmax的区别、CrossEntropyLoss() 与 NLLLoss() 的区别、log似然代价函数...
1.softmax 函数 Softmax(x) 也是一个 non-linearity, 但它的特殊之处在于它通常是网络中一次操作. 这是因为它接受了一个实数向量并返回一个概率分布.其定义如下. 定义 ...

softmax与sigmoid的区别

softmax与sigmoid的区别相关推荐

最新文章

热门文章