【深度学习】Softmax 函数

Introduction

Softmax函数，又称 归一化指数函数 。

该函数是最流行的分类任务目标函数，也是 Sigmoid函数的一种推广。可转换为交叉熵误差 (CE) 。

Softmax 将向量 等比例压缩 到 [0, 1]之间，且保证 所有元素之和为1 。

s o f t m a x ( i ) = e h y i ∑ j = 1 C e h j softmax(i) = \frac{e^{h_{y_{i}}}}{{\sum_{j=1}^C}e^{h_{j}}} softmax(i)=∑j=1Cehjehyi

举例：softmax( [1, 2, 3, 4, 1, 2, 3] ) = [0.024, 0.064, 0.175, 0.475, 0.024, 0.064, 0.175]

Softmax 与 Sigmoid 的异同

	Softmax	Sigmoid
公式	σ ( z ) j = e z j ∑ k = 1 K e z k {\displaystyle \sigma (\mathbf {z} )_{j}={\frac {e^{z_{j}}}{\sum _{k=1}^{K}e^{z_{k}}}}} σ(z)j=∑k=1Kezkezj	S ( x ) = 1 1 + e − x . {\displaystyle S(x)={\frac {1}{1+e^{-x}}}.} S(x)=1+e−x1.
本质	离散概率分布	非线性映射
任务	多分类	二分类
定义域	某个一维向量	单个数值
值域	[0,1]	(0,1)
结果之和	一定为 1	为某个正数

[1] 深度学习: 分类目标函数 (交叉熵误差(CE) -> 焦点损失(FL))
[2] 深度学习: 目标函数
[3] [Machine Learning] logistic函数和softmax函数

【深度学习】Softmax 函数相关推荐

深度学习softmax函数理解
文章目录一,引入二,softmax是什么? 三,为什么使用exe^xex 实现总结一,引入我们为什么要引入这个函数,我们知道在机器学习当中,一些问题大概可以分为两种,一种是分类问题,一种是 ...
深度学习softmax与多层感知机分类模型
softmax 简单的分类问题一个简单的图像分类问题,输入图像的高和宽均为2像素,色彩为灰度.图像中的4像素分别记为x1,x2,x3,x4x_1,x_2,x_3,x_4x1,x2,x3,x4 ...
深度学习-softmax回归
softmax regression 1- softmax 基本概念 1-1 极大似然估计 2- Fashion-MNIST图像分类数据集 2-1 下载数据集 2-2 可视化 3- softmax回归 ...
动手学深度学习——softmax回归之OneHot、softmax与交叉熵
目录一.从回归到多类分类 1. 回归估计一个连续值 2. 分类预测一个离散类别二.独热编码OneHot 三.校验比例--激活函数softmax 四.损失函数--交叉熵五.总结回归可以用于预测多 ...
深度学习-TF函数-layers.concatenate用法 numpy数组维度
环境: tensorfow 2.* def concatenate(inputs, axis=-1, **kwargs): axis=n表示从第n个维度进行拼接,对于一个三维矩阵,axis的取值可以为 ...
Matlab 训练深度学习模型函数 trainingOptions
function opts = trainingOptions(solverName, varargin)solverName: 'sgdm' - 带动量的随机梯度下降 'adam' - 自适应力矩估 ...
深度学习loss函数理解
机器学习中的范数规则化之L0.L1.L2范数及loss函数监督机器学习问题无非就是"minimizeyour error while regularizing your parameter ...
深度学习——loss函数的学习笔记（legacy）
3 备注 3.1 使用torch.log()前,需要进行clamp 在写作loss函数时,经常会使用torch.log()函数,例如计算交叉熵时: 在PyTorch中,在使用torch.log()前, ...
跟李沐学深度学习-softmax回归
softmax回归分类和回归的区别无校验比例校验比例交叉熵常见损失函数均方误差 L2 loss 绝对值损失L1 loss 鲁棒损失图像分类数据集分类和回归的区别回归:估计一个连续值 ...
Python深度学习魔法函数2
对于魔法函数__repr__来说,他是可以把一个对象用字符串表达出来,以便于更好的区分,对于__str__来说,它也是返回字符串,只是对于终端用户更友好一些. class Person:def __i ...

【深度学习】Softmax 函数

Introduction

Softmax 与 Sigmoid 的异同

【深度学习】Softmax 函数相关推荐

最新文章

热门文章

【深度学习】Softmax 函数

Introduction

Softmax 与 Sigmoid 的 异同

【深度学习】Softmax 函数相关推荐

最新文章

热门文章

Softmax 与 Sigmoid 的异同