深度学习笔记03——浅析Softmax作用

Softmax为一个函数，一般用于处理分类任务中初始输出结果。

首先对于一个分类的任务，它的输出一般为一个向量。因为可以通过向量的方式来表示某个类别。比如如下label的三个类别：

这个是label结果，不是分类网络的输出结果。而分类网络的输出结果也是一个向量，只是这个向量里面的值可以为任何值，即不是像label一样这么有规律。我们知道我们需要用分类网络的输出结果和label进行cross entropy 来计算loss。往往用于与label进行计算的那个输出向量不是最开始网络输出的输出向量，而是经过了softmax后的向量。

softmax的作用是：将可以为任何值的vector映射为vector内每个值属于(0,1),所有值之和=1,可以理解为概率。比如经过softmax后的vector为[0.88,0.12,0] ,那么这个图片为第一类的P=0.88。下图是整个过程：

Softmax里面进行操作如下：

给一个实际的例子：可以理解softmax的效果就是让大值与小值差距更大。

其他：

当分类任务中只有两个类别时，使用sigmoid它的效果与softmax是等价的。

Pytorch中softmax是集成在cross-entropy模块里的，也就是说当选择cross-entropy作为Loss时，你不需要再额外加softmax层，它自己内部就已经实现了。

深度学习笔记03——浅析Softmax作用相关推荐

深度学习笔记三：Softmax Regression
Softmax回归模型整体理解回归与分类借用网上一个帖子的回复:分类问题和回归问题都要根据训练样本找到一个实值函数g(x). 回归问题的要求是:给定一个新的模式,根据训练集推断它所对应的输出y( ...
深度学习笔记（13） Softmax分类
深度学习笔记(13) Softmax分类 1. Softmax 回归 2. 练一个Softmax分类器 1. Softmax 回归有一种logistic回归的一般形式,叫做 Softmax回归能在 ...
深度学习笔记（24）卷积层
深度学习笔记(24) 卷积层 1. 卷积层向前传播 2. 卷积层符号 3. 简单的卷积网络 1. 卷积层向前传播一个典型的卷积神经网络的卷积层,而通常有三层: 卷积层 Conv 池化层 POOL 全 ...
深度学习笔记其五：卷积神经网络和PYTORCH
深度学习笔记其五:卷积神经网络和PYTORCH 1. 从全连接层到卷积 1.1 不变性 1.2 多层感知机的限制 1.2.1 平移不变性 1.2.2 局部性 1.3 卷积 1.4 "沃尔多在 ...
《繁凡的深度学习笔记》前言、目录大纲一文让你完全弄懂深度学习所有基础（DL笔记整理系列）
<繁凡的深度学习笔记>前言.目录大纲 (DL笔记整理系列) 一文弄懂深度学习所有基础 ! 3043331995@qq.com https://fanfansann.blog.csdn.ne ...
一文弄懂元学习 (Meta Learing)（附代码实战）《繁凡的深度学习笔记》第 15 章元学习详解（上）万字中文综述
<繁凡的深度学习笔记>第 15 章元学习详解 (上)万字中文综述(DL笔记整理系列) 3043331995@qq.com https://fanfansann.blog.csdn.net ...
深度学习笔记（43） Siamese网络
深度学习笔记(43) Siamese网络 1. Siamese网络 2. 建立人脸识别系统 3. 训练网络 1. Siamese网络深度学习笔记(42) 人脸识别提到的函数ddd的作用: 输入两张 ...
深度学习笔记（35）滑动窗口的卷积实现
深度学习笔记(35) 滑动窗口的卷积实现 1. 卷积实现 2. 减少计算成本 1. 卷积实现为了构建滑动窗口的卷积应用,首先要知道如何把神经网络的全连接层转化成卷积层假设对象检测算法输入一个14× ...
深度学习笔记（30） Inception网络
深度学习笔记(30) Inception网络 1. Inception模块 2. 瓶颈层 3. Inception网络 4. Inception网络的细节 1. Inception模块构建卷积层时 ...

深度学习笔记03——浅析Softmax作用

深度学习笔记03——浅析Softmax作用相关推荐

最新文章

热门文章