Softmax Derivation

讨论最简单情况：

以神经网络为例：

假设在softmax层，输入的数据是N维的一维数组，输出结果是多分类的各个概率，假设为C类。

--1. input: x --> import data with dimension N, can be writen as $(x_0, x_1, x_2, ..., x_{N-1})$ , in neural network, means the last hidden layer output.

W, b --> the affine weight with shape:(N, C) and (C, )

y --> the target label of the data, the value of y is in (0, C-1). I will transform y to be an one-hot vector. In the form $(y_0, y_1, ..., y_k, ..., y_{C-1}),\ where\ y_k=1,\ y_i=0,\ i\ not\ j$ .

--2: Derivation

定义隐层输出为 $S_i, where\ i\ in\ (0, C-1), S_i= \frac{e^{z_i}}{\sum_{j}{e^{z_j}}},\ where\ z_i = W_{., i}^T x + b_i$ .

定义损失函数：

$Loss = \sum_{i=0}^{i=C-1}{y_i log(S_i)}$

求反向传播参数dx, dW:

这里我把它变成求中间变量dz, 然后用dz 推导dx, dW.

$\frac{\partial Loss}{\partial z_i}=\sum{\frac{\partial Loss}{\partial S_j} \frac{\partial S_j}{\partial z_i}}$

$\frac{\partial Loss}{\partial S_j} = y_j \times \frac{1}{S_j}$

$\frac{\partial S_j}{\partial z_i} = -S_i S_j,\ if\ i\ not\ equal\ to\ j.$

$\frac{\partial S_j}{\partial z_i} = (1-S_i)S_i,\ if\ i\ equal\ to\ j.$

So:

$\frac{\partial Loss}{\partial z_i} = \sum_{j=0}^{j=C-1} \frac{y_j}{S_j} \times \delta_{j}$

where:

$\delta_{j} = (1-S_i)S_i,\ if\ j=i, else\ (0 - S_i) S_j$

$\frac{\partial Loss}{\partial z_i} = y_i (1-S_i) + \sum_{j\ is\ not\ i} y_j( -S_i)$

改写成：

$\delta_j = (y_j - S_j)S_i, if\ and\ only\ if\ i=j, y_j = 1$ , one-hot 性质决定了结果中实际只有一个值有效。因此这个形式可以化简成其中 $y_i$ 为1的那项。

$\frac{\partial Loss}{\partial z_i} = \sum_i y_i (y_i - S_i)=y_k-S_k, \ where\ k\ is\ the\ target\ label$

同理可以求出其他z,然后根据z求出dx, dW.

欢迎讨论！

Softmax Derivation相关推荐

理解 softmax 和 NLL 损失函数 (the negative log-likelihood) 以及求导过程
本文转载自 https://ljvmiranda921.github.io/notebook/2017/08/13/softmax-and-the-negative-log-likelihood/ 有 ...
pytorch之expand，gather，squeeze，sum，contiguous，softmax，max，argmax
目录 gather squeeze expand sum contiguous softmax max argmax gather torch.gather(input,dim,index,out=N ...
PyTorch学习笔记——softmax和log_softmax的区别、CrossEntropyLoss() 与 NLLLoss() 的区别、log似然代价函数...
1.softmax 函数 Softmax(x) 也是一个 non-linearity, 但它的特殊之处在于它通常是网络中一次操作. 这是因为它接受了一个实数向量并返回一个概率分布.其定义如下. 定义 ...
机器学习入门（13）— Affine 仿射层、Softmax 归一化指数函数层实现
1. 一维 Affine 仿射层我们回顾下之前为了计算加权信号的总和,使用了矩阵的乘积运算 NumPy 中是 np.dot() , 参照代码如下: In [7]: X = np.random.ran ...
机器学习入门（06）— 输出层多元分类、softmax 归一化指数函数以及输出层的神经元数量
输出层所用的激活函数,要根据求解问题的性质决定.一般地, 回归问题可以使用恒等函数,也就是说会将输入按原样输出: 二元分类问题可以使用 sigmoid 函数: 多元分类问题可以使用 softmax 函 ...
Deep Learning 学习随记（三）续 Softmax regression练习
上一篇讲的Softmax regression,当时时间不够,没把练习做完.这几天学车有点累,又特别想动动手自己写写matlab代码所以等到了现在,这篇文章就当做上一篇的续吧. 回顾: 上一篇最后给 ...
logisitic和softmax函数
1,logistic函数其实logistic函数也就是经常说的sigmoid函数,它的几何形状也就是一条sigmoid曲线.logistic函数的公式形式如下: 其中,x0表示了函数曲线的中心(si ...
激活函数之softmax介绍及C++实现
下溢(underflow):当接近零的数被四舍五入为零时发生下溢.许多函数在其参数为零而不是一个很小的正数时才会表现出质的不同.例如,我们通常要避免被零除或避免取零的对数. 上溢(overflow): ...
今日头条李磊等最新论文：用于文本生成的核化贝叶斯Softmax
译者 | Raku 出品 | AI科技大本营(ID:rgznai100) 摘要用于文本生成的神经模型需要在解码阶段具有适当词嵌入的softmax层,大多数现有方法采用每个单词单点嵌入的方式,但是一个 ...

Softmax Derivation

Softmax Derivation相关推荐

最新文章

热门文章