分类问题的label为啥必须是 one hot 形式？

点击上方，选择星标或置顶，每天给你送干货！

阅读大概需要2分钟

跟随小博主，每天进步一丢丢

作者：桔了个仔
链接：https://www.zhihu.com/question/359742335/answer/930586793
来源：知乎

其实真不一定必须用one hot，不过用one hot时，主要因素包括：

one hot的形式无法比较大小。如果你预测的label是苹果，雪梨，香蕉，草莓这四个，显然他们不直接构成比较关系，但如果我们用1,2,3,4来做label就会出现了比较关系，labe之间的距离也不同。有了比较关系，第一个label 和最后一个 label的距离太远，影响模型的学习。因为模型觉得label 1和label 2最像，和最后一个label 最不像。不过当你的label之间存在直接的比较关系，就可以直接用数字当label。例如你做一个风控模型，预测的是四个风险类别[低，中，高，紧急]，其实你也可以用1，2，3，4来做label，因为确实存在一个比较。但这本质上就成了回归问题。
one hot的形式还可以计算top N准确度。预测的结果将会是[0.1, 0.6, 0.2, 0.1]这样的形式，我们一般取概率最高的那个为预测结果，假设这四个label还是[苹果，雪梨，香蕉，草莓]，如果真实的结果是雪梨，那么这个结果是top1 准确的。但如果实际结果是香蕉，但香蕉的概率排第二，那么这个结果也是top 2准确的。top N准确率在推荐类应用中很常用，你购物时经常会看到物品下方有N个推荐搭配，如果推荐模型的top N准确率越高，那么这个购物推荐的最后转化效果就越好。

方便交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

推荐阅读：

【ACL 2019】腾讯AI Lab解读三大前沿方向及20篇入选论文

【一分钟论文】IJCAI2019 | Self-attentive Biafﬁne Dependency Parsing

【一分钟论文】 NAACL2019-使用感知句法词表示的句法增强神经机器翻译

【一分钟论文】Semi-supervised Sequence Learning半监督序列学习

【一分钟论文】Deep Biaffine Attention for Neural Dependency Parsing

详解Transition-based Dependency parser基于转移的依存句法解析器

经验 | 初入NLP领域的一些小建议

学术 | 如何写一篇合格的NLP论文

干货 | 那些高产的学者都是怎样工作的？

一个简单有效的联合模型

近年来NLP在法律领域的相关研究工作

让更多的人知道你“在看”

分类问题的label为啥必须是 one hot 形式？相关推荐

深度学习 | (4) 分类问题的Label为啥是one-hot？
在上两次博客中,我们定义分类问题的损失函数,其中用到的Label都是one-hot形式,其实真不一定必须用one-hot,不过用one-hot的主要因素包括(在PyTorch中我们不用显式地自己把标签 ...
交叉熵损失函数公式_交叉熵损失函数对其参数求导
1.Sigmoid 二分类交叉熵交叉熵公式: 其中y是laebl:0 或1. hθ(xi)是经过sigmoid得到的预测概率.θ为网络的参数, m为样本数. hθ()函数如下所示, J(θ) 对参数 ...
300万知乎多标签文本分类任务经验分享（附源码）
来源:大数据挖掘DT数据分析本文长度为4600字,建议阅读6分钟本文为你分享知乎看山杯冠军团队参赛经验. 后台回复回复关键词"PT"即可获取源码(PyTorch实现)githu ...
filegee为啥没变动也更新_2020/10/07|02=下一步行动|evernote更新以及后续影响
#### 问题~~惊奇发现? ##### 答案~~少数派搜了一下发现居然没有印象笔记或者evernote更新的文章,看来好多人已经跑路了啊:完成率一直是惨不忍睹,本文章阅读完成率10%都不到[普通人非 ...
tensorflow分类的loss函数_tensorflow 分类损失函数使用小记
多分类损失函数 label.shape:[batch_size]; pred.shape: [batch_size, num_classes] 使用 tf.keras.losses.sparse_ca ...
TF使用例子-情感分类
北京站 | NVIDIA DLI深度学习培训 2018年1月26日 NVIDIA 深度学习学院带你快速进入火热的DL领域阅读全文正文共10052个字,4张图,预计阅读时间26分钟. 这次改写一下 ...
matlab 分类学习工具箱 Classification Learner
转载:https://blog.csdn.net/qq_27914913/article/details/71436838 在matlab中,既有各种分类器的训练函数,比如"fitcsvm& ...
matlab 分类学习工具箱 Classification Learner的使用及导出其生成的图，混淆矩阵confusion matrix的画法
声明:转自https://blog.csdn.net/qq_27914913/article/details/71436838 https://blog.csdn.net/evil_xue/artic ...
@kubernetes（k8s）label标签的使用及service代理模式
文章目录 label 一.label的介绍 1.label的概述 2.label的分类二.label的使用 1.增加标签 2.更改(更新)标签label 3.删除标签lael 4.查看标签label ...
[轻笔记] label smoothing(标签平滑)
看google AI最新的开源代码,发现有个技巧--label smoothing,网上查到的公式与代码中的公式不一样,于是做个笔记,并对见到的觉得有问题的关于label smoothing的博客也列 ...

分类问题的label为啥必须是 one hot 形式？

分类问题的label为啥必须是 one hot 形式？相关推荐

最新文章

热门文章