【小知识】二分类问题，应该选择sigmoid还是softmax？

点击上方，选择星标或置顶，每天给你送干货！

阅读大概需要5分钟

跟随小博主，每天进步一丢丢

来自 | 知乎

地址 | https://www.zhihu.com/question/295247085/answer/494511891

作者 | ivy zheng

编辑 | 机器学习算法与自然语言处理公众号

本文仅作学术分享，若侵权，请联系后台删文处理

谢邀。

Sigmoid函数：

Softmax函数：

其中：

因此这两个完全等价，连梯度消失的位置都是等价的。

关于灵犀的问题：

采用sigmoid输出时，使用[0-1.0]的threshold来得到不同的precision和recall；
而采用softmax输出时，我们常常直接取两类中最大概率的类别（这种方法我理解应该是直接默认设置了threshold为0.5），那我如果在softmax下想获得PR曲线的话，应该怎么操作呢？

1、我觉得你对precision和recall有什么误解，如果计算PR曲线，需要的就是类别，而不是概率值。比如你准确率，就是正确匹配的除以总数，那么正确匹配的个数肯定是通过判定的类别是否正确得到啊。

2、如果想要得到概率，Softmax是可以的。CAFFE的Softmax层可以输出的结果，比如有n个类，就可以得到一个向量，那么属于第个类的概率就是：

____20190805补充_

经@空号提醒，貌似对pr曲线部分表述错误。因为回答太久远了，不方便修改，就把空号的回复贴上，供大家参考。

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

【小知识】二分类问题，应该选择sigmoid还是softmax？相关推荐

金蝶EAS/BOS开发小知识二
1:如何通过IObjectPK pk获取实体对象 IObjectPK是一个表示实体对象id的对象,在日常开发工作中,经常需要通过它来获取实体对象.以下是通过IObjectPK获取实体对象代码的模版: ...
Lesson 8.38.4 二分类神经网络torch.nn.functional实现单层二分类网络的正向传播
二.二分类神经网络:逻辑回归 1 二分类神经网络的理论基础线性回归是统计学经典算法,它能够拟合出一条直线来描述变量之间的线性关系.但在实际中,变量之间的关系通常都不是一条直线,而是呈现出某种曲线关系 ...
终于搞懂了！字符串拼接的各种姿势以及底层的小知识
文章目录前言一. 字符串拼接的小知识二.锁消除和锁粗化 2.1 锁消除 2.2 锁粗化三.逃逸分析 3.1 逃逸分析是什么 3.2 逃逸分析对性能的影响 3.3 逃逸分析的优化四.总结参考 ...
ps切图的零散小知识
关于ps切图的零散小知识认识多种图片文件格式选择测量的工具 ctrl+D可以取消选区,或者点击旁边一下也可以取消选区 ctrl+R可以调出标尺,也可以在视图->标尺打开标尺 (调出的时候需要 ...
python小知识｜if x、if not x、while True的用法，还在困扰着你吗？（补加：关于None的小知识）
python小知识|if x.if not x.while True的用法,还在困扰着你吗?(补加:关于None的小知识) 一.条件判断语句简写 1.if x 与 if not x 2.None的小知 ...
使用神经网络做二分类，输出层需要几个神经元？应该选择哪一种激活函数？如果要处理minst数据、输出层需要几个神经元？使用那种激活函数？如果使用神经网络预测房价，输出层需要几个神经元、使用什么激活函数？
使用神经网络做二分类,输出层需要几个神经元?应该选择哪一种激活函数?如果要处理minst数据.输出层需要几个神经元?使用那种激活函数?如果使用神经网络预测房价,输出层需要几个神经元.使用什么激活函数? ...
vue hot true 不起作用_Vue + Flask 小知识（二）
微信公众号:萝卜大杂烩关注可了解更多的原创内容.问题或建议,请公众号留言或加本人微信;如果你觉得文章对你有帮助,欢迎加微信交流今天继续分享 Vue.js 学习笔记,结合 handsontable. ...
ArcGIS小知识（十二）——打开ArcToolbox的Samples工具以及用法
以前做面转点.点转面工作时用到了Samples工具,因为那一篇步骤比较紧凑,中间插播比较复杂.所以关于Samples的单拎出来了.如果对面转点.点转面感兴趣,可以参考< ArcGIS小知识(三) ...
NPDP产品经理小知识:平衡计分卡（二）
NPDP产品经理小知识:平衡计分卡(二) [平衡计分卡的优点] 平衡计分卡不仅是一种管理手段,也体现了一种管理思想: (1)只有量化的指标才是可以考核的:必须将要考核的指标进行量化. (2)组织愿景的 ...
体验AI乐趣：基于AI Gallery的二分类猫狗图片分类小数据集自动学习
摘要:直接使用AI Gallery里面现有的数据集进行自动学习训练,很简单和方便,节约时间,不用自己去训练了,AI Gallery 里面有很多类似的有趣数据集,也非常好玩,大家一起试试吧. 本文分享自 ...

【小知识】二分类问题，应该选择sigmoid还是softmax？

【小知识】二分类问题，应该选择sigmoid还是softmax？相关推荐

最新文章

热门文章