Softmax 函数的特点和作用是什么？

作者：张欣
链接：https://www.zhihu.com/question/23765351/answer/98897364
来源：知乎
著作权归作者所有，转载请联系作者获得授权。

softmax 回归(Softmax Regression) 这里解释的很详细，简单总结下：

softmax模型是logistic模型在多分类问题上的推广， logistic 回归是针对二分类问题的，类标记为{0， 1}。
假设函数为： $h_\theta(x)=\frac 1 {1 + \exp(-\theta^T x)}$ 。
代价函数为：&lt;img src="https://pic1.zhimg.com/980d1a1ab6da9a277ee7fe5e2e5b6c1c_b.png" data-rawwidth="514" data-rawheight="61" class="origin_image zh-lightbox-thumb" width="514" data-original="https://pic1.zhimg.com/980d1a1ab6da9a277ee7fe5e2e5b6c1c_r.png"&gt;

在softmax模型中，label可以为k个不同的值 $y^i \in \{1, 2, 3, ....., k\}$ 。
对于给定的测试输入 $x$ ，我们想用假设函数针对每一个类别j估算出概率值 $p(y=j | x)$ 。
假设函数将输出一个k维的向量
&lt;img src="https://pic4.zhimg.com/242501fa80f9a1d463fb4b5d10d446b7_b.png" data-rawwidth="453" data-rawheight="111" class="origin_image zh-lightbox-thumb" width="453" data-original="https://pic4.zhimg.com/242501fa80f9a1d463fb4b5d10d446b7_r.png"&gt;
请注意 $\frac 1 {\sum^k_{j=1}e^{\theta^T_j x^i}}$ 这一项对概率分布进行归一化，使得所有概率之和为 1 。
代价函数为：&lt;img src="https://pic1.zhimg.com/558819625cec5f8b7cda33c4f7ea3acc_b.png" data-rawwidth="417" data-rawheight="61" class="content_image" width="417"&gt;其中：1{值为真的表达式}=1 为示性函数。其中：1{值为真的表达式}=1 为示性函数。
如果类别之间是互斥的，适合用softmax；如果类别之间允许重叠，应该选择k个logistic分类器。

转载于:https://www.cnblogs.com/zhizhan/p/5822052.html

Softmax 函数的特点和作用是什么？相关推荐

[work] Softmax 函数的特点和作用
作者:忆臻链接:https://www.zhihu.com/question/23765351/answer/240869755 来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载 ...
Softmax 函数及其作用（含推导）
Softmax函数的定义及作用 Softmax是一种形如下式的函数: P(i)=exp(θTix)∑Kk=1exp(θTkx) 其中 θi和x是列向量, θTix可能被换成函数关于x的函数 fi(x) ...
干货 | 浅谈 Softmax 函数
点击上方"视学算法",马上关注真爱,请设置"星标"或点个"在看" 来自 | 知乎作者 | LinT 链接丨https://zhuan ...
Softmax函数详解与推导
原文:https://www.cnblogs.com/zongfa/p/8971213.html Softmax函数详解与推导一.softmax函数 softmax用于多分类过程中,它将多个神经元的 ...
softmax函数理解
该节课中提到了一种叫作softmax的函数,因为之前对这个概念不了解,所以本篇就这个函数进行整理,如下: 维基给出的解释:softmax函数,也称指数归一化函数,它是一种logistic函数的归一化形 ...
tf.nn.softmax参数详解以及作用
tf.nn.softmax参数详解以及作用参考地址:https://zhuanlan.zhihu.com/p/93054123 tf.nn.softmax(logits,axis=None,name ...
softmax函数_干货 | 浅谈 Softmax 函数
点击上方"视学算法",马上关注来自 | 知乎作者 | LinT链接丨https://zhuanlan.zhihu.com/p/79585726编辑 | 深度学习这件小事公众号仅 ...
人工神经网络之激活函数 -softmax函数
softmax 可以理解为归一化,如目前图片分类有一百种,那经过 softmax 层的输出就是一个一百维的向量.向量中的第一个值就是当前图片属于第一类的概率值,向量中的第二个值就是当前图片属于第二类的 ...
深度学习——用softmax函数来规范可变参数
参考书籍:<深度学习--基于Python语言和TensorFlow平台> 'nn'是neural network的缩写,nn是TensorFlow的一个重要子类(包),其中的softmax ...

Softmax 函数的特点和作用是什么？

Softmax 函数的特点和作用是什么？相关推荐

最新文章

热门文章