我们知道卷积神经网络(CNN)在图像领域的应用已经非常广泛了,一般一个CNN网络主要包含卷积层,池化层(pooling),全连接层,损失层等。虽然现在已经开源了很多深度学习框架(比如MxNet,Caffe等),训练一个模型变得非常简单,但是你对损失函数求梯度是怎么求的真的了解吗?相信很多人不一定清楚。虽然网上的资料很多,但是质量参差不齐,常常看得眼花缭乱。为了让大家少走弯路,特地整理了下这些知识点的来龙去脉,希望不仅帮助自己巩固知识,也能帮到他人理解这些内容。

这一篇主要介绍softmax loss对输入的求导(或者叫cross entropy loss function对输入的求导),算是网络里面比较难懂的一块内容,公式较多,但是很容易看懂,需要静下心来看。

接下来我会先介绍softmax对输入求导的推导过程,然后给出softmax loss对输入的求导推导。

先推导softmax对输入的求导:
回顾下:卷积神经网络系列之softmax,softmax loss和cross entropy介绍的softmax,就是下面这个公式:

N表示类别数,a表示全连接层的输出向量,aj表示向量a的第j个值。

那么如果将Si对aj求导,就是下面这个式子:

注意到这个式子中Si的分子的指数是ai,而求导对象是aj,因此在求导的时候就存在i==j和i!=j这两种情况。另外这里用DjSi表示Si对aj的导数,这种表示方式后面会用到。

当i==j时,求导的公式是下面这样的:

这个是比较基本的求导,不要觉得字符多就很难,虽然我一开始也是这么认为的。如果不熟悉的话应该要过一下简单的微积分(提示两点:1、e^ai对ai的导数还是e^ai;2、∑表示e^a1+e^a2+…+e^aN,因此对∑求导时,只有e^aj对aj的导数不为0,其他都是0)

因此,化简这个求导公式就得到下面这个式子的结果。这里第三个等式是怎么得到的呢?请看上面的第一个公式,也就是softmax那个公式,你就知道S是softmax的输出。

当i!=j时,求导公式和前面同理是下面这样的:

因此整合下i==j和i!=j的情况,就得到Si对aj的导数如下:

——————————————–华丽的分割线———————————————–

前面介绍的是softmax对输入的求导推导过程,我们的目的是损失函数对输入求导,因为这个过程需要用到softmax对输入的求导,所以就先介绍了。softmax loss的公式是下面这样的,这个在博文:卷积神经网络系列之softmax,softmax loss和cross entropy里也介绍过了。我们知道模型在训练的时候先进行前向计算,得到在当前模型参数下的预测值,也就是下式的S;然后计算这次预测的损失,也就是下式的L;然后反向传递损失并计算梯度(这个梯度包含损失对参数的梯度和对该层输入的梯度);最后再正向更新参数

然后就是softmax对输入的求导,这里直接给出结论,因为在分割线之前都在推导这个求导的过程

上面两步准备好了损失函数Lsoftmax对输入的导数,然后就可以计算损失函数对输入的导数了。下面这个式子就是计算损失函数L对输入xi的导数。这个式子中的第一、二个等号比较好理解。第三个等号就用到了上面pj对xi求导的结论,第三个等号结果的左半部分是i==k的时候pk对xi的导数,求导得到的pk和原来的1/pk相乘约掉了,对yk的求和由于i==k所以只剩下yi;右半部分是i!=k的时候pk对xi的导数,注意右半部分的∑底下的k!=i。第四、五个等号也比较好理解。第六个等号是将yipi合并到∑里面。最后一个等号的成立是建立在假设∑yk=1的前提下,这个对于常见的单标签分类任务而言都是成立的

因此假设一个5分类任务,一张图像经过softmax层后得到的概率向量p是[0.1,0.2,0.25,0.4,0.05],真实标签y是[0,0,1,0,0],那么损失回传时该层得到的梯度就是p-y=[0.1,0.2,-0.75,0.4,0.05]。这个梯度就指导网络在下一次forward的时候更新该层的权重参数。

综上就是softmax loss对输入的求导推导

卷积神经网络系列之softmax loss对输入的求导推导相关推荐

  1. softmax loss对输入的求导推导

    转载自: https://blog.csdn.net/u014380165/article/details/79632950 我们知道卷积神经网络(CNN)在图像领域的应用已经非常广泛了,一般一个CN ...

  2. 卷积神经网络系列之softmax,softmax loss和cross entropy的讲解

    我们知道卷积神经网络(CNN)在图像领域的应用已经非常广泛了,一般一个CNN网络主要包含卷积层,池化层(pooling),全连接层,损失层等.虽然现在已经开源了很多深度学习框架(比如MxNet,Caf ...

  3. 卷积神经网络系列之softmax,softmax loss和cross entropy

    全连接层到损失层间的计算 先理清下从全连接层到损失层之间的计算. 这张图的等号左边部分就是全连接层做的事,W是全连接层的参数,我们也称为权值,X是全连接层的输入,也就是特征. 从图上可以看出特征X是N ...

  4. 【损失函数系列】softmax loss损失函数详解

    1.损失函数:         损失函数(loss function)是用来评测模型的预测值f(x)与真实值Y的相似程度,损失函数越小,就代表模型的鲁棒性越好,损失函数指导模型学习.根据损失函数来做反 ...

  5. Softmax及其损失函数求导推导过程

    Softmax激活函数的损失函数求导过程推导 Softmax函数介绍 Softmax的损失函数:交叉熵 Softmax求导过程 损失函数求导 Softmax函数介绍 在深度学习领域,多分类问题的激活函 ...

  6. 卷积神经网络系列之卷积/池化后特征图大小怎么计算??

    1.卷积后的大小: W:矩阵宽,H:矩阵高,F:卷积核宽和高,P:padding(需要填充的0的个数),N:卷积核的个数,S:步长 width:卷积后输出矩阵的宽,height:卷积后输出矩阵的高 w ...

  7. NLP 中损失函数对输入的求导的思考

    在 http://cs224d.stanford.edu/assignment1/assignment1.pdf 中对下面一题的探索 答案在 https://blog.csdn.net/longxin ...

  8. softmax,softmax loss和cross entropy

    我们知道卷积神经网络(CNN)在图像领域的应用已经非常广泛了,一般一个CNN网络主要包含卷积层,池化层(pooling),全连接层,损失层等.虽然现在已经开源了很多深度学习框架(比如MxNet,Caf ...

  9. softmax和softmax loss详细解析

    本文转载于以下博文地址:https://blog.csdn.net/u014380165/article/details/77284921 如有冒犯,还望谅解! 我们知道卷积神经网络(CNN)在图像领 ...

最新文章

  1. Matlab与线性代数 -- 矩阵的水平连接和垂直连接
  2. 浙大博士整理的计算机视觉学习路线(含时间建议分配)
  3. JavaScript 全选函数的实现
  4. Ajax请求SSM后台传值方式踩坑
  5. 从关系数据库到Elasticsearch的索引数据– 1
  6. JavaScript 图片的上传前预览
  7. python填空题及答案知乎_GitHub - HSINAN/zhihu-python: 获取知乎内容信息,包括问题,答案,用户,收藏夹信息...
  8. CentOS6.x安装mongodb3.4.x
  9. 程序员爬虫竟构成犯罪?
  10. jquery 根据样式或者名称获取 对象遍历赋值
  11. KMP + 求最小循环节 --- HDU 1358 Period
  12. C# Chat曲线图,在发布之后出现错误 Invalid temp directory in chart handler configuration c:\TempImageFiles\...
  13. oracle国家字符集
  14. Java 编码规范3(编程规约-代码格式)
  15. 年鉴表格-数据可视化分析
  16. 干货收藏 | Python语音识别终极指南
  17. java无损压缩图片
  18. 【《Real-Time Rendering 3rd》 提炼总结】(八) 第九章 · 全局光照:光线追踪、路径追踪与GI技术进化编年史
  19. 爬虫(七)通过Selenium爬取网易云音乐评论
  20. 《水浒传》108将的绰号(ZZ)

热门文章

  1. 22.Odoo产品分析 (三) – 人力资源板块(3) – 休假管理(1)
  2. Word2vec词向量工具带你发现不一样的《天龙八部》
  3. 深入理解for update 和 lock in share mode
  4. 使用联通云OSS小程序直传
  5. pthread实现快速排序
  6. 残忍的世界,我们要学会要坚强。
  7. 掘安杯 web snake 适合新手
  8. N-苯基马来酰亚胺的全球与中国市场2022-2028年:技术、参与者、趋势、市场规模及占有率研究报告
  9. 论文精讲 | 一种隐私保护边云协同训练
  10. BFS + 状态压缩总结