在人工神经网络（ANN）中，Softmax通常被用作输出层的激活函数。这不仅是因为它的效果好，而且因为它使得ANN的输出值更易于理解。同时，softmax配合log似然代价函数，其训练效果也要比采用二次代价函数的方式好。

【转】http://blog.csdn.net/u014313009/article/details/51045303

1. softmax函数及其求导

softmax的函数公式如下：

其中，表示第L层（通常是最后一层）第j个神经元的输入，表示第L层第j个神经元的输出，表示自然常数。注意看，表示了第L层所有神经元的输入之和。

softmax函数最明显的特点在于：它把每个神经元的输入占当前层所有神经元输入之和的比值，当作该神经元的输出。这使得输出更容易被解释：神经元的输出值越大，则该神经元对应的类别是真实类别的可能性更高。

另外，softmax不仅把神经元输出构造成概率分布，而且还起到了归一化的作用，适用于很多需要进行归一化处理的分类问题。

由于softmax在ANN算法中的求导结果比较特别，分为两种情况。希望能帮助到正在学习此类算法的朋友们。求导过程如下所示：

2. softmax配合log似然代价函数训练ANN

在上一篇博文“交叉熵代价函数”中讲到，二次代价函数在训练ANN时可能会导致训练速度变慢的问题。那就是，初始的输出值离真实值越远，训练速度就越慢。这个问题可以通过采用交叉熵代价函数来解决。其实，这个问题也可以采用另外一种方法解决，那就是采用softmax激活函数，并采用log似然代价函数（log-likelihood cost function）来解决。

log似然代价函数的公式为：

其中，表示第k个神经元的输出值，表示第k个神经元对应的真实值，取值为0或1。

我们来简单理解一下这个代价函数的含义。在ANN中输入一个样本，那么只有一个神经元对应了该样本的正确类别；若这个神经元输出的概率值越高，则按照以上的代价函数公式，其产生的代价就越小；反之，则产生的代价就越高。

为了检验softmax和这个代价函数也可以解决上述所说的训练速度变慢问题，接下来的重点就是推导ANN的权重w和偏置b的梯度公式。以偏置b为例：

同理可得：

从上述梯度公式可知，softmax函数配合log似然代价函数可以很好地训练ANN，不存在学习速度变慢的问题。

softmax的log似然代价函数（公式求导）相关推荐

PyTorch学习笔记——softmax和log_softmax的区别、CrossEntropyLoss() 与 NLLLoss() 的区别、log似然代价函数...
1.softmax 函数 Softmax(x) 也是一个 non-linearity, 但它的特殊之处在于它通常是网络中一次操作. 这是因为它接受了一个实数向量并返回一个概率分布.其定义如下. 定义 ...
常见的神经网络详细公式求导总结！
Datawhale干货作者:Criss,来源:机器学习与生成对抗网络 derivative of softmax 1.1 derivative of softmax 一般来说,分类模型的最后一层都是 ...
机器学习-算法-有监督学习：EM（最大期望值算法）＜=＞ MLE（最大似然估计法）【关系类似“梯度下降法”＜=＞“直接求导法”】【EM“梯度下降”：先初始化一个随机值，然后通过迭代不断靠近真实值】
机器学习-算法-有监督学习:EM(最大期望值算法)<=> MLE(最大似然估计法)[关系类似"梯度下降法"<=>"直接求导法"][EM& ...
利用MATLAB进行求导
导数是微积分中的一个重要的概念,又称为导函数值.在数学中,我们经常会利用导数来求切线.极值.拐点.渐近线等.在解决数学问题中,经常需要用到导数.MATLAB中提供了diff函数进行求导.本文对于MAT ...
吴恩达-深度学习-各个变量的求导
这是关于损失函数对各变量的求导是单样本实例的在这里是假设样本有两个特征值那么对应的有两个权重但是偏差是一样的所以关于z的函数则如上图所示关于da/dz的求导是因为 a = σ(z)= ...
高数【求导】--猴博士爱讲课
第三课<求导> 1/5 照公式求导常见的求导 2/5 隐函数求导例 1. 若 y = y ( x ) 由 y 3 − x 2 + y = 0 确定,则 y ′ = , y ′ ′ = ...
看懂SoftMax回归算法之代价函数求偏导的数学推导——机器学习笔记（12）
1.学习背景这两天学习softmax逻辑回归算法,然后卡在了其代价函数求偏导处,"百科"中说,softmax的代价函数如下: 经过求导,得到梯度公式如下: 作为一个准数学专业毕业 ...
交叉熵代价函数(损失函数)及其求导推导
转自:http://blog.csdn.net/jasonzzj/article/details/52017438 前言交叉熵损失函数交叉熵损失函数的求导前言说明:本文只讨论Logistic回 ...
Softmax Regression损失函数的求导
softmax regression 代价函数: J(θ)=−1m[∑i=1m∑j=1k1{y(i)=j}logeθjTX(i)∑l=1keθlTX(i)]J(\theta) = -\frac{1}{ ...

softmax的log似然代价函数（公式求导）

1. softmax函数及其求导

2. softmax配合log似然代价函数训练ANN

softmax的log似然代价函数（公式求导）相关推荐

最新文章

热门文章