softmax分类器推导

softmax函数在机器学习中是常用的多分类器，特别是在卷积神经网络中，最后的一层经常都是使用softmax分类器进行多类别分类任务。虽然softmax看上去相对比较简单，但是其实其中蕴含的数学推导还是比较复杂的，特别是对于数学不太好的同学。这篇文章主要就是结合自己学习《神经网络与深度学习》的一些笔记和体会。其中很多公式部分参考了《神经网络与深度学习》，如有不恰当的地方，欢迎批评指正。

softmax函数是logistic函数的一般形式，是将分类问题转化为概率问题，其实说白了，就是求解统计所有可能的概率，然后概率最大的即认为为该类别。首先直接建立多类线性分类器。假设 y = {1, · · · , C}共 C 个类别，首先定义C个判别函数。

这里Wc 为类 c的权重向量。
这样，对于空间中的一个点x，如果存在类别c，对于所有的其他类别c ˜(wT c x ̸= c) 都满足fc(x) > fc ˜(x)，那么x属于类别 c。相应的分类函数可以表示为：

当 C = 2 时，就是Logistics二类分类器，

SoftMax回归是Logistic回归的多类推广。
多类线性分类函数的参数 w有很多种优化算法。这里我们介绍一种常用的学习算法： SoftMax 回归。在SoftMax回归中，机器学习模型预测目标为每一个类别的后验概率。这就需要用到softmax函数。

利用 softmax函数，我们定义目标类别 y = c的后验概率为：

对于样本(x, y)，输出目标 y = {1, · · · , C}，我们用 C 维的one-hot向量 y来表示输出目标。对于类别 c，

这里， I()是指示函数。

同时，我们将公式3.59重新定义一下，直接输出 k 维向量

其中， W = [w1, · · · , wC]是 C 个类对应权重向量组成的矩阵。 y ˆ 的第 c维的值是第 c类的预测后验概率。其中， z ˆ = W Tx，为 softmax函数的输入向量。
给定 N 给样本(x(i), y(i)), 1 ≤ i ≤ N，我们使用交叉熵损失函数，模型在训练集的风险函数为：

采样梯度下降法，我们要计算 J (W)关于 W 的梯度。首先，我们列下要用到的公式。

1. softmax函数的导数为

下面讲述的是关于softmax的导数求法，对于 K 个标量 x1, · · · , xK， softmax函数定义为

这样，我们可以将 K 个变量 x1, · · · , xK 转换为一个分布： z1, · · · , zK，满足

当 softmax函数的输入为 K 维向量 x时

其中， 1¯K = [1, · · · , 1]K×1 是 K 维的全1向量

softmax分类器推导相关推荐

3.9 训练一个 Softmax 分类器-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.8 Softmax 回归回到目录 3.10 深度学习框架训练一个 Softmax 分类器 (Training a Softmax Classifier) 上一个视频中 ...
训练softmax分类器实例_CS224N NLP with Deep Learning（四）：Window分类器与神经网络
Softmax分类器我们来回顾一下机器学习中的分类问题.首先定义一些符号,假设我们有训练集 ,其中为输入, 为标签,共包括个样本: 表示第个样本,是一个维的向量: 表示第个样本的标签,它的 ...
深度学习系列--1.入坑模型: 线性回归，logistic 回归，softmax分类器
惭愧啊,读研的时候学得正是模式识别:当看着书本上都是公式推导.博士师兄们也都在公式推导研究新算法的时候,排斥心理到了顶点,从此弃疗. 工作三年,重新捡起,因为更关注实际操作,所以选择了<pyth ...
训练softmax分类器实例_吴恩达深度学习笔记(56)-训练一个 Softmax 分类器
训练一个 Softmax 分类器(Training a Softmax classifier) 上一个笔记中我们学习了Softmax层和Softmax激活函数,在这个笔记中,你将更深入地了解Softm ...
Logistic 分类器与 softmax分类器
Logistic 分类器与 softmax分类器首先说明啊:logistic分类器是以Bernoulli(伯努利) 分布为模型建模的,它可以用来分两种类别:而softmax分类器以多项式分布(Mul ...
softmax函数计算概念，过程。Coursera | Andrew Ng (02-week3-3.9)—训练一个 Softmax 分类器
版权声明:本文为博主--ZJ--原创文章,未经博主允许不得转载. https://blog.csdn.net/JUNJUN_ZHAO/article/details/79122927 该系列仅在原课程 ...
深度学习与计算机视觉（二）线性SVM与Softmax分类器
2.线性SVM与Softmax分类器 2.1 得分函数(score function) 2.1.1 线性分类器 2.1.2 理解线性分类器 2.2 损失函数 2.2.1 多类别支持向量机损失(Mult ...

softmax分类器推导

softmax分类器推导相关推荐

最新文章

热门文章