CS231n 学习笔记（2）——神经网络 part2 ：Softmax classifier
*此系列为斯坦福李飞飞团队的系列公开课“cs231n convolutional neural network for visual recognition ”的学习笔记。本文主要是对module 1 的part2 Linear classification: Support Vector Machine, Softmax 的翻译与学习。Softmax classifier是另一种常用的分类器，它可以看作是二类罗杰斯特回归对于多种分类情况的推广。在Softmax classifier中，判别函数与SVM一致，但是损失函数被重新定义为：
可以从信息论的角度来解读Softmax classifier:
p为正确的分类，q为算法估计出的分类。
Softmax classifier就是要缩小p，q之间的信息熵。其中q是对样本分类的估计：
p是样本的正确分类，用一个向量表示，这个向量中只有一个维度是1，其余全部都是0.
从概率的角度来解读：
上式表示在W的条件下，对输入Xi进行分类，Xi属于第yi类的概率。对于正确的分类，我们要尽力缩小否定的可能性（minimizing the negative log likelihood of the correct class），我们可以用极大似然估计来解决这个问题。也可以用极大后验概率估计（Maximum a posteriori (MAP) ）来解决这个问题。
数据稳定性
C是一个常熟，它的选取通常遵循准则：
svm vs softmax
SVM与softmax的具体操作过程如上图所示，值得注意的是，最后得到的损失函数并不具备可比性。只有用相同的分类器得到的损失函数才具备可比性。
softmax为图片是否属于某个类别提供了一个“概率”。之所以打引号，是因为进过softmax对判别函数的处理后，所有判别的得分之和是1。例如：
如果将W整体拉伸，缩小一倍。判别的结果将变为：可以看出，“概率”的分布更加分散了。
实践中，SVM和softmax常常的性能常常不相上下。差别微乎其微。
CS231n 学习笔记（2）——神经网络 part2 ：Softmax classifier相关推荐
- cs231n学习笔记——图像分类
cs231n学习笔记--图像分类及代码实现 写在前面的废话 1.图像分类 2.数据驱动 3.图形分类流程 4.L1距离(曼哈顿距离) 5.L2距离(欧氏距离) 6. Nearest Neighbor分 ...
- 深度学习笔记（13） Softmax分类
深度学习笔记(13) Softmax分类 1. Softmax 回归 2. 练一个Softmax分类器 1. Softmax 回归 有一种logistic回归的一般形式,叫做 Softmax回归 能在 ...
- 吴恩达《机器学习》学习笔记十一——神经网络代码
吴恩达<机器学习>学习笔记十一--神经网络代码 数据准备 神经网络结构与代价函数· 初始化设置 反向传播算法 训练网络与验证 课程链接:https://www.bilibili.com/v ...
- 吴恩达《机器学习》学习笔记十——神经网络相关（2）
吴恩达<机器学习>学习笔记十--神经网络相关(2) 一. 代价函数 二. 反向传播算法 三. 理解反向传播算法 四. 梯度检测 五. 随机初始化 1.全部初始化为0的问题 2.随机初始化的 ...
- 吴恩达《机器学习》学习笔记九——神经网络相关（1）
吴恩达<机器学习>学习笔记九--神经网络相关(1) 一. 非线性假设的问题 二. 神经网络相关知识 1.神经网络的大致历史 2.神经网络的表示 3.前向传播:向量化表示 三. 例子与直觉理 ...
- July深度学习笔记之神经网络与反向传播算法
July深度学习笔记之神经网络与反向传播算法 一.神经网络 神经网络的大致结构如下: 大致可以分为输入层.隐藏层与输出层. 而我们可以单独拿出来一个结点,可以发现,其实它就是类似一个逻辑回归(LR), ...
- CS231n 学习笔记（2）——神经网络 part2 ：线性分类器，SVM
*此系列为斯坦福李飞飞团队的系列公开课"cs231n convolutional neural network for visual recognition "的学习笔记.本文主要 ...
- CS231n 学习笔记（1）——神经网络 part1 ：图像分类与数据驱动方法
*此系列为斯坦福李飞飞团队的系列公开课"cs231n convolutional neural network for visual recognition "的学习笔记.本文主要 ...
- 训练softmax分类器实例_吴恩达深度学习笔记(56)-训练一个 Softmax 分类器
训练一个 Softmax 分类器(Training a Softmax classifier) 上一个笔记中我们学习了Softmax层和Softmax激活函数,在这个笔记中,你将更深入地了解Softm ...
最新文章
- [Hive]Union使用指南
- TabelDiff实用工具
- Java应用程序的令牌认证
- 各個瀏覽器CSS樣式控制
- php static 关键字
- redis 完整使用文档(2021)
- w10系统asp服务器搭建,win10系统搭建asp环境的操作方法
- vue webpack之vue-router 使用history模式报错Cannot GET /xxx
- Bluefish编辑成果即时预览
- 百度seo引流怎么做？一个免费分享知识的平台
- stm32 看门狗 BKP（HAL库）
- 所需即所获：IDE = _plugins_ + vim
- 物联网应用网站——设计报告
- pip升级到最新版本
- 游戏 找CALL技巧 突破口
- 计算机网络实验三 cpt
- STM32F1与STM32CubeIDE编程实例-振动传感器驱动
- Netty取Http Post body
- Rapider Minner使用教程
- BSN如何推动全球区块链技术落地？