简单易懂的softmax交叉熵损失函数求导
简单易懂的softmax交叉熵损失函数求导
本博客转自:http://m.blog.csdn.net/qian99/article/details/78046329
来写一个softmax求导的推导过程,不仅可以给自己理清思路,还可以造福大众,岂不美哉~
softmax经常被添加在分类任务的神经网络中的输出层,神经网络的反向传播中关键的步骤就是求导,从这个过程也可以更深刻地理解反向传播的过程,还可以对梯度传播的问题有更多的思考。
softmax 函数
softmax(柔性最大值)函数,一般在神经网络中, softmax可以作为分类任务的输出层。其实可以认为softmax输出的是几个类别选择的概率,比如我有一个分类任务,要分为三个类,softmax函数可以根据它们相对的大小,输出三个类别选取的概率,并且概率和为1。
softmax函数的公式是这种形式:
推导过程如下,记softmax函数为:
损失函数 loss function
在神经网络反向传播中,要求一个损失函数,这个损失函数其实表示的是真实值与网络的估计值的误差,知道误差了,才能知道怎样去修改网络中的权重。
损失函数可以有很多形式,这里用的是交叉熵函数,主要是由于这个求导结果比较简单,易于计算,并且交叉熵解决某些损失函数学习缓慢的问题。交叉熵的函数是这样的:
在这里,yi表示真实的分类结果。
首先,我们要明确一下我们要求什么,我们要求的是我们的loss对于神经元输出(zi)的梯度,即:
根据复合函数求导法则:
有人可能有疑问了,这里为什么是aj而不是ai,这里要看一下softmax的公式了,因为softmax公式的特性,它的分母包含了所有神经元的输出,所以,对于不等于i的其他输出里面,也包含着zi,所有的a都要纳入到计算范围中,并且后面的计算可以看到需要分为i=j和i≠j两种情况求导。
下面我们一个一个推:
第二个稍微复杂一点,我们先把它分为两种情况:
①如果i=j:
②如果i≠j:
接下来我们只需要把上面的组合起来:
最后的结果看起来简单了很多,最后,针对分类问题,我们给定的结果yi最终只会有一个类别是1,其他类别都是0,因此,对于分类问题,这个梯度等于:
看起来清爽多了,我们算得的梯度就是神经元的输出-1,是不是很神奇呢~
简单易懂的softmax交叉熵损失函数求导相关推荐
- 逻辑回归损失函数通常是凸函数(附平方差损失的非凸证明以及交叉熵损失函数求导)
Q:为什么逻辑回归损失函数往往要求是凸函数?(此处凸函数是指下凸,国内和国外凸函数的标准不一样,是相反的,吴恩达的机器学习课程凸函数是指下凸) A:如果损失函数是非凸的,使用梯度下降法优化时,最后得到 ...
- softmax交叉熵损失函数深入理解(二)
0.前言 前期博文提到经过两步smooth化之后,我们将一个难以收敛的函数逐步改造成了softmax交叉熵损失函数,解决了原始的目标函数难以优化的问题.Softmax 交叉熵损失函数是目前最常用的分类 ...
- 深度学习中softmax交叉熵损失函数的理解
1. softmax层的作用 通过神经网络解决多分类问题时,最常用的一种方式就是在最后一层设置n个输出节点,无论在浅层神经网络还是在CNN中都是如此,比如,在AlexNet中最后的输出层有1000个节 ...
- softmax交叉熵损失函数
1.推导 softmax的损失函数推导依然要用到最大似然估计MLE m代表有m条样本,k代表k个类别 2.softmax损失函数可以简写成 逻辑回归LR损失函数可以写成 因此由公式可以看出逻辑回归就是 ...
- 图示Softmax及交叉熵损失函数
Softmax函数 Softmax是将神经网络得到的多个值,进行归一化处理,使得到的值在之间,让结果变得可解释.即可以将结果看作是概率,某个类别概率越大,将样本归为该类别的可能性也就越高.Softma ...
- Softmax及其损失函数求导推导过程
Softmax激活函数的损失函数求导过程推导 Softmax函数介绍 Softmax的损失函数:交叉熵 Softmax求导过程 损失函数求导 Softmax函数介绍 在深度学习领域,多分类问题的激活函 ...
- 神经网络中的激活函数与损失函数深入理解推导softmax交叉熵
神经网络中的激活函数与损失函数&深入理解softmax交叉熵 前面在深度学习入门笔记1和深度学习入门笔记2中已经介绍了激活函数和损失函数,这里做一些补充,主要是介绍softmax交叉熵损失函数 ...
- 交叉熵损失函数优缺点_交叉熵损失函数的优点(转载)
第一篇: 利用一些饱和激活函数的如sigmoid激活时,假如利用均方误差损失,那么损失函数向最后一层的权重传递梯度时,梯度公式为 可见梯度与最后一层的激活函数的导数成正比,因此,如果起始输出值比较大, ...
- sigmoid函数求导_交叉熵损失函数的求导(Logistic回归)
目录 前言 交叉熵损失函数 交叉熵损失函数的求导 前言 最近有遇到些同学找我讨论sigmoid训练多标签或者用在目标检测中的问题,我想写一些他们的东西,想到以前的博客里躺着这篇文章(2015年读研时机 ...
最新文章
- java相关网络协议无响应_java网络协议有哪些
- factorybean 代理类不能按照类型注入_《Spring入门经典》:使用Spring进行依赖注入
- Linux底层开发之四书五经
- 【渝粤教育】国家开放大学2018年春季 0283-21T广告创意与表现(二) 参考试题
- C语言 static - C语言零基础入门教程
- [软件工程学习笔记]浅谈敏捷开发
- JavaScript习题(数组去重、有序数组乱序排列)
- python图像边缘检测报告_python – 检测图像的最外边缘并基于它进行绘图
- 【重磅分享】从零到一搭建推荐系统指南白皮书.pdf(附48页下载链接)
- mysql 使用存储过程批量插数据
- Print 与Debug.Log的区别
- CentOS 7下Red5流媒体服务器的搭建与测试
- HTC Vive Unity 教程
- 删除Linux Terminal中的历史记录
- ObjectAnimator旋转动画
- error: failed to push some refs to ‘xx.git‘ hint: Updates were rejected because the tip of your curr
- vue中使用element-ui时单元格内换行的问题
- 机器学习:数据预处理之独热编码(One-Hot)详解
- windows启动管理器_【指南】Windows操作技巧集合(欢迎在评论区补充)
- Android跟我一起来开发--微影之架构篇
热门文章
- [BuildRelease]Mozilla Build Tools(自动设置VC环境)
- C# Readonly和Const的区别
- 数据结构笔记(二十五)-- 图的基本术语
- 帧起始定界符_帧详解 - web黄金矿工 - 博客园
- python闭包技巧_案例详析:Python闭包与nonlocal关键字
- pycharm 显示空格及tab
- octave与matlab语法,Octave与Matlab
- python源码剖析读书笔记总结_《Python源码剖析》读书笔记:内存垃圾回收
- python安装后无法打开文本_Python 安装zbar-py时出现 无法打开包括文件: “unistd.h” no such file or directory...
- python语言翻译成汇编语言_计原 || 1计算机语言发展与计算机层次结构