1.softmax函数

设 $X= \begin{bmatrix} x_{1},x_{2},\cdot \cdot \cdot ,x_{n} \end{bmatrix}$ ， $Y=softmax\begin{pmatrix} X \end{pmatrix}=\begin{bmatrix} y_{1},y_{2},\cdot \cdot \cdot ,y_{n} \end{bmatrix}$ ，

则 $y_{i}=\frac{e^{x_{i}}}{\sum_{j=1}^{n}e^{x_{j}}}$ ，显然 $\sum_{i=1}^{n}y_{i}=1$ 。

例如： $X=\begin{bmatrix} 2,3 \end{bmatrix}$ ，则 $Y=softmax\begin{pmatrix} X \end{pmatrix}=\begin{bmatrix} \frac{e^{2}}{e^{2}+e^{3}},\frac{e^{3}}{e^{2}+e^{3}} \end{bmatrix}=\begin{bmatrix} 0.26894142,0.73105858 \end{bmatrix}$

2.softmax函数求导

（1）当i=j时

（2）当i!=j时

综上所述： $\frac{\partial y_{i}}{\partial x_{j}}=\begin{cases} y_{i}-y_{i}y_{i} & \text{ if } i=j \\ 0-y_{i}y_{i} & \text{ if } i\neq j \end{cases}$

所以 $\frac{\partial Y}{\partial X}=diag\begin{pmatrix} Y \end{pmatrix}-Y^{T}\cdot Y$

3.softmax 函数的一个性质

$softmax(X+c)=softmax(X)$

这里X是向量，c是一个常数。下面证明左右两边的每一个分量相等。

证明：

实际应用：为了防止溢出，事先把x减去最大值。最大值是有效数据，其他值溢不溢出可管不了，也不关心。

4.softmax函数+交叉熵代价函数

$C=-\sum_{k}^{}\hat{y}_{k}logy_{k}$

这里的 $\hat{y}_{k}$ 是真实值，是训练的目标，取0或1.在求导的时候是常量。 $y_{i}$ 是softmax函数的输出值，是训练结果，是变量。

log似然代价函数C对每一个 $x_{i}$ 求偏导，结果都是

$\frac{\partial C}{\partial x_{i}}=y_{i}-\hat{y}_{i}$

$\frac{\partial C}{\partial X}=Y-\hat{Y}$

softmax函数反向传播相关推荐

CNN反向传播源码实现——CNN数学推导及源码实现系列(4)
前言本系列文章链接: CNN前置知识:模型的数学符号定义--卷积网络从零实现系列(1)_日拱一两卒的博客-CSDN博客https://blog.csdn.net/yangwohenmai1/arti ...
深度学习与计算机视觉教程(4) | 神经网络与反向传播（CV通关指南·完结）
作者:韩信子@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/37 本文地址:https://www.showmeai.tech/article-d ...
基于DL的计算机视觉（5）--理解反向传播
1. 引言其实一开始要讲这部分内容,我是拒绝的,原因是我觉得有一种写高数课总结的感觉.而一般直观上理解反向传播算法就是求导的一个链式法则而已.但是偏偏理解这部分和其中的细节对于神经网络的设计和调整优 ...
softmax函数_反向传播之一：softmax函数
最好的学习方法就是把内容给其他人讲明白. 如果你看了我的文章感觉一头雾水,那是因为我还没学透. 我目前的理解是:反向传播是神经网络的精要,没搞明白反向传播,神经网络就还没入门. 我的学习计划是: (1 ...
神经网络的反向传播（BP）是什么？sigmoid函数的导数是什么，有什么形式优势、优缺点？
神经网络的反向传播(BP)是什么?sigmoid函数的导数是什么,有什么形式优势? 目录
神经网络(NN)+反向传播算法（Backpropagation/BP）+交叉熵+softmax原理分析
神经网络如何利用反向传播算法进行参数更新,加入交叉熵和softmax又会如何变化? 其中的数学原理分析:请点击这里. 转载于:https://www.cnblogs.com/code-wangjun/ ...
并注册烧写钩子获取启动介质类型_PyTorch中对张量登记注册反向传播的钩子函数,并展示调用顺序...
总结说明:代码实验表面,反向传播计算梯度时的执行顺序是和前向计算相反的.这一点由钩子函数的执行顺序可以观察到,并且由保存梯度的列表中的内容顺序可以推断出来. 代码实验展示: import torch ...
softmax+cross-entropy的前向计算、反向传播的公式推导
本文主要是讲述Softmax和CrossEntropy的公式推导,并用代码进一步佐证. 1. Softmax前向计算我们把SoftmaxSoftmaxSoftmax输出的概率定义为 pip_ipi ...
0_3-激活函数的反向传播-ReLU、LeakyReLU、PReLU、ELU、SELU
numpy实现神经网络系列工程地址:https://github.com/yizt/numpy_neuron_network 基础知识 0_1-全连接层.损失函数的反向传播 0_2_1-卷积层的反向 ...

softmax函数反向传播