softmax函数为什么叫softmax？

之前一直很奇怪这个名字，本身是做一个类似归一化的动作，把整体一个vector“压缩”成一个符合概率分布的样子，为什么叫softmax呢？

今天查了下，看了下部分答案，大概写一下理解。

softmax，是和hard-max来对应的。

他完成了两个功能，一个是max，一个是soft。

max部分：softmax函数处理之后，整体最大的值还是最大值，这个排序顺序没有变化，相当于大小顺序的信息没有丢失；

soft部分：soft意味着，是一种可以反向恢复的一种转换。与之对应的，是hard转换。比如说，我们定义对一个vector的hard-max函数，要求也是转变成一个概率分布，单项在[0,1]之间，sum为1。那么，可以定义hard-max为：

Hard-max(vector) = [1 if x is max else 0 for x in vector]

可以看出，这个定义的hard-max也满足概率分布的条件，但它是不可逆的。算是“硬转换”。

因此，对比起来，这个soft-max函数算是一种soft（可逆的）max函数转换为一个概率分布的vector。

参考：

1. https://math.stackexchange.com/questions/1888141/why-is-the-softmax-function-called-that-way

softmax函数为什么叫softmax？相关推荐

[Machine Learning] logistic函数和softmax函数
简单总结一下机器学习最常见的两个函数,一个是logistic函数,另一个是softmax函数,若有不足之处,希望大家可以帮忙指正.本文首先分别介绍logistic函数和softmax函数的定义和应用, ...
softmax函数上溢出和下溢出(转载＋自己理解)
<Deep Learning>(Ian Goodfellow & Yoshua Bengio & Aaron Courville)第四章「数值计算」中,谈到了上溢出(ove ...
What is the Softmax Function?详解机器学习中的Softmax函数【小白菜可懂】
目录定义公式计算 Softmax vs Sigmoid Softmax vs Sigmoid 计算 Softmax vs Argmax Softmax vs Argmax 计算应用神经网络中 ...
积水成渊之softmax函数
积水成渊之softmax函数导引什么是Softmax函数? 公式Softmax(xi)=exi∑j=1nexjSoftmax(x_i)=\frac{e^{x_i}}{\sum_{j=1}^{n}e ...
深度学习入门（六）——softmax函数的改良
输出层的设计机器学习的问题大致可以分为分类问题和回归问题.分类问题是数据属于哪一个类别的问题.比如,区分图像中的人是男性还是女性的问题就是分类问题.而回归问题是根据某个输入预测一个(连续的)数值的问 ...
Tranformer模型与Softmax函数
目录 Softmax函数的FPGA实现查表法 CORDIC算法的简介泰勒级数展开法多项式拟合法: 参考文献 Transformer模型中抛弃了传统的CNN和RNN,整个网络结构完全是由Atten ...
Softmax函数求导
来源:https://blog.csdn.net/zt_1995/article/details/62227603 其实整个推导,上面这个图片已经介绍得十分清楚了,但是仍有很多小步骤被省略掉了,我会补 ...
机器学习 [logistic函数和softmax函数]
简单总结一下机器学习最常见的两个函数,一个是logistic函数,另一个是softmax函数,若有不足之处,希望大家可以帮忙指正.本文首先分别介绍logistic函数和softmax函数的定义和应用, ...
logistic函数和softmax函数
简单总结一下机器学习最常见的两个函数,一个是logistic函数,另一个是softmax函数.本文首先分别介绍logistic函数和softmax函数的定义和应用,然后针对两者的联系和区别进行了总结. ...

softmax函数为什么叫softmax？

softmax函数为什么叫softmax？相关推荐

最新文章

热门文章