对Softmax函数的理解

1.名字理解

2.优点

3.缺点

4.应用

5.总结

1.名字理解

1）软最大，相较于硬最大来说。硬最大非黑即白，只能输出一个最大值；软最大输出的是——每个类别最大的概率分布。

2）eg就像一篇文章，可能有多个主题，输出每个可能主题的概率值。

2.优点

作为激活函数，Softmax采用指数函数形式——

1）将输出的数值拉开距离，以此来分类。

2）反向传播梯度下降更新参数的时候方便求导。

3.缺点

作为激活函数，Softmax采用指数函数形式——

1）自变量大，输出值的数值可能溢出。

2）配套的损失函数是交叉熵，也可能溢出（so有Softmax和交叉熵统一接口提高数值稳定性）。

4.应用

单个输出节点的二分类问题一般在输出节点上使用Sigmoid函数，拥有两个及其以上的输出节点的二分类或者多分类问题一般在输出节点上使用Softmax函数。

5.总结

可以看出Softmax和交叉熵损失函数的梯度下降更新结果：

1）先将所有的值减去对应的Softmax的结果，可以简单记为推所有；

2）然后将真实标记中的对应位置的值加上1，简单记为拉一个；

总的概括Softmax+交叉熵损失函数参数更新为"推所有，拉一个"。

参考链接：一文详解Softmax函数

对Softmax函数的理解相关推荐

softmax函数理解
该节课中提到了一种叫作softmax的函数,因为之前对这个概念不了解,所以本篇就这个函数进行整理,如下: 维基给出的解释:softmax函数,也称指数归一化函数,它是一种logistic函数的归一化形 ...
一分钟理解softmax函数（超简单）
做过多分类任务的同学一定都知道softmax函数.softmax函数,又称归一化指数函数.它是二分类函数sigmoid在多分类上的推广,目的是将多分类的结果以概率的形式展现出来.下图展示了softma ...
通俗理解归一化指数函数—Softmax函数
在数学,尤其是概率论和相关领域中,归一化指数函数,或称Softmax函数,是逻辑函数的一种推广.它能将一个含任意实数的K维向量z"压缩"到另一个K维实向量σ(z)中,使得每一个元素 ...
深度学习softmax函数理解
文章目录一,引入二,softmax是什么? 三,为什么使用exe^xex 实现总结一,引入我们为什么要引入这个函数,我们知道在机器学习当中,一些问题大概可以分为两种,一种是分类问题,一种是 ...
softmax函数上溢出和下溢出(转载＋自己理解)
<Deep Learning>(Ian Goodfellow & Yoshua Bengio & Aaron Courville)第四章「数值计算」中,谈到了上溢出(ove ...
干货 | 浅谈 Softmax 函数
点击上方"视学算法",马上关注真爱,请设置"星标"或点个"在看" 来自 | 知乎作者 | LinT 链接丨https://zhuan ...
Softmax函数详解与推导
原文:https://www.cnblogs.com/zongfa/p/8971213.html Softmax函数详解与推导一.softmax函数 softmax用于多分类过程中,它将多个神经元的 ...
softmax函数为什么叫softmax？
之前一直很奇怪这个名字,本身是做一个类似归一化的动作,把整体一个vector"压缩"成一个符合概率分布的样子,为什么叫softmax呢? 今天查了下,看了下部分答案,大概写一下理解 ...
[Machine Learning] logistic函数和softmax函数
简单总结一下机器学习最常见的两个函数,一个是logistic函数,另一个是softmax函数,若有不足之处,希望大家可以帮忙指正.本文首先分别介绍logistic函数和softmax函数的定义和应用, ...

对Softmax函数的理解

1.名字理解

2.优点

3.缺点

4.应用

5.总结

对Softmax函数的理解相关推荐

最新文章

热门文章