通俗理解归一化指数函数—Softmax函数
在数学,尤其是概率论和相关领域中,归一化指数函数,或称Softmax函数,是逻辑函数的一种推广。它能将一个含任意实数的K维向量z“压缩”到另一个K维实向量σ(z)中,使得每一个元素的范围都在(0,1)之间,并且所有元素的和为1。该函数多用于多分类问题中。
做过多分类任务的同学一定都知道softmax函数。softmax函数,又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广,目的是将多分类的结果以概率的形式展现出来。下图展示了softmax的计算方法:
下面为大家解释一下为什么softmax是这种形式。
首先,我们知道概率有两个性质:1)预测的概率为非负数;2)各种预测结果概率之和等于1。
softmax就是将在负无穷到正无穷上的预测结果按照这两步转换为概率的。
1)将预测结果转化为非负数
下图为y=exp(x)的图像,我们可以知道指数函数的值域取值范围是零到正无穷。softmax第一步就是将模型的预测结果转化到指数函数上,这样保证了概率的非负性。
2)各种预测结果概率之和等于1
为了确保各个预测结果的概率之和等于1。我们只需要将转换后的结果进行归一化处理。方法就是将转化后的结果除以所有转化后结果之和,可以理解为转化后结果占总数的百分比。这样就得到近似的概率。
下面为大家举一个例子,假如模型对一个三分类问题的预测结果为-3、1.5、2.7。我们要用softmax将模型结果转为概率。步骤如下:
1)将预测结果转化为非负数
y1 = exp(x1) = exp(-3) = 0.05
y2 = exp(x2) = exp(1.5) = 4.48
y3 = exp(x3) = exp(2.7) = 14.88
2)各种预测结果概率之和等于1
z1 = y1/(y1+y2+y3) = 0.05/(0.05+4.48+14.88) = 0.0026
z2 = y2/(y1+y2+y3) = 4.48/(0.05+4.48+14.88) = 0.2308
z3 = y3/(y1+y2+y3) = 14.88/(0.05+4.48+14.88) = 0.7666
总结一下softmax如何将多分类输出转换为概率,可以分为两步:
1)分子:通过指数函数,将实数输出映射到零到正无穷。
2)分母:将所有结果相加,进行归一化。
通俗理解归一化指数函数—Softmax函数相关推荐
- 通俗理解 React 高阶函数
定义:高阶组件就是一个函数,且该函数接受一个组件作为参数,并返回一个新的组件. A higher-order component is a function that takes a componen ...
- 交叉熵函数cross_entropy与归一化指数函数softmax
交叉熵 交叉熵主要是用来判定实际的输出与期望的输出的接近程度,其数学公式如下: ...
- 计算机上指数函数的表示方法,归一化指数函数
在数学,尤其是概率论和相关领域中,归一化指数函数,或称Softmax函数,是逻辑函数的一种推广.它能将一个含任意实数的K维向量z"压缩"到另一个K维实向量σ(z)中,使得每一个元素 ...
- softmax函数到底是什么?——归一化指数函数,及其python实现
softmax应该算是机器学习的入门数学知识了.softmax函数,它并不十分复杂,但又不是十分简单,总之这个函数就是很难去背诵下来,以致于每次你要写softmax的时候,都得搜一下才行.而每次搜索s ...
- 一分钟理解softmax函数(超简单)
做过多分类任务的同学一定都知道softmax函数.softmax函数,又称归一化指数函数.它是二分类函数sigmoid在多分类上的推广,目的是将多分类的结果以概率的形式展现出来.下图展示了softma ...
- softmax函数理解
该节课中提到了一种叫作softmax的函数,因为之前对这个概念不了解,所以本篇就这个函数进行整理,如下: 维基给出的解释:softmax函数,也称指数归一化函数,它是一种logistic函数的归一化形 ...
- 对Softmax函数的理解
目录 1.名字理解 2.优点 3.缺点 4.应用 5.总结 1.名字理解 1)软最大,相较于硬最大来说.硬最大非黑即白,只能输出一个最大值:软最大输出的是--每个类别最大的概率分布. 2)eg就像一篇 ...
- 机器学习入门(13)— Affine 仿射层、Softmax 归一化指数函数层实现
1. 一维 Affine 仿射层 我们回顾下之前为了计算加权信号的总和,使用了矩阵的乘积运算 NumPy 中是 np.dot() , 参照代码如下: In [7]: X = np.random.ran ...
- 机器学习入门(06)— 输出层多元分类、softmax 归一化指数函数以及输出层的神经元数量
输出层所用的激活函数,要根据求解问题的性质决定.一般地, 回归问题可以使用恒等函数,也就是说会将输入按原样输出: 二元分类问题可以使用 sigmoid 函数: 多元分类问题可以使用 softmax 函 ...
最新文章
- power 芯片 运行linux,IBM Power系列的是不是只能用linux?
- 如何让fragment每次都重新加载_每次都能正确判罚丨网球是如何电子化的
- php instanceof操作符
- 小明分享|LVGL调试日志
- Layui / WEB UI
- [课程设计]Scrum 多鱼点餐系统(团队交流日)
- Android 4.1最终版SDK和ADT Plugin全线发布
- 云计算之路-阿里云上:拔云见日的那一刻,热泪盈眶
- 回首阿里10年产品经理路,1点忠告希望在2021帮到你
- 条款12:复制对象时勿忘其每一个部分
- 网上流行护眼色的RGB值和颜色代码汇总
- 两台电脑间的串口通信
- elementui表格合计自定义,尾行自定义
- 写给学生看的系统分析与验证笔记(十二)——验证ω-正则属性(Verifying ω-regular properties)
- python怎么把ppt转成html,如何使用python把ppt转换成pdf
- 因为此版本的应用程序不支持其项目类型(.csproj),若要打开它,请使用支持此类型项目的版本
- 内存优化 · 基础论 · 初识 Android 内存优化
- obj文件、mtl文件结构说明
- 金蝶K3物料生效流程+物料批量导入功能开发
- 连接IBM MQ原因码报2537的错误解决记录
热门文章
- ICLR 2022 不求甚解阅读笔记--强化学习类(1)
- 2023年长安大学材料科学基础考研成功上岸经验分享
- 【ORACLE】事务与一致性:TRN TBL 和ITL基础
- 英特尔OpenVINO(TM)工具包为创新智能视觉提供更多可能
- 股东大会上巴菲特亲传选股10招
- mfc 托盘技术(taskbar status area)
- 计算机教学及其编程视频教学,计算机科学及编程导论教学视频
- 【SA8295P 源码分析】02 - SA8295P 整包镜像分析
- 【闲聊杂谈】聊一聊Redis中的Sorted Set
- 吴恩达杨立昆亲自下场开直播:GPT-5不能停!