正样本/反(负)样本/易区分样本/难区分样本

网络训练中,常会遇到这些术语,比如

(1) 正样本和反(负)样本数不相同,甚至相差悬殊(实际上往往正样本数远远小于负样本数),如何解决样本呢不均衡问题?

(2) 在选择负样本(正样本)的过程中,很多样本都是易于区分的,也就是说,这些样本对于模型性能的提升贡献较小,添加了这些样本不仅对于模型的提升帮助有限,同时大量的这些样本也主导了梯度更新的方向,浪费了训练时间.

这些话都什么意思?各种样本什么区别?还是举个例子来看下:

现在我要训练一个模型,能认出斑点狗,也就是说,送给神经网络好多图片,如果图片中有斑点狗,那么输出1,否则输出0,显然在我们训练神经网络模型的过程中,我们会遇到这样的情况:

(1) 包含有斑点狗的样本太少(其他任何不是斑点狗的图片都可以作为负样本)

(2)很多负样本容易区分,比如什么飞机照片,人照片,火车照片,这些都不包含斑点狗,同时也是包含易区分样本,而对于哈士奇,哈巴狗等这些同样是购得样本就是较难区分的样本(因为大家都是狗啊,只是身上有没有黑斑而已...)

(3)大量无管样本主导了梯度更新的方向.

借用retinanet论文的话来说https://arxiv.org/pdf/1708.02002.pdf

在训练的过程中,由于大多数都是简单易分的负样本(属于背景的样本),使得训练过程不能充分学习到属于那些有类别样本的信息,其次简单易分的负样本太多,可能掩盖了其他类别样本的作用(这些简单易分的负样本仍产生一定幅度的loss,见下图的蓝色曲线,数量多会对loss起主要贡献作用,因此就主导了梯度的更新方向,掩盖了重要的信息)

正样本/反(负)样本/易区分样本/难区分样本相关推荐

【机器学习】正样本和负样本
正样本是指属于某一类别的样本,反样本是指不属于某一类别的样本比如说你在做字母A的图像识别,字母A的样本就属于正样本,不是字母A的样本就属于负样本
机器学习套路 —— 样本集的拆分（正样本、负样本）
collect negative samples of adaboost algorithm for face detection 机器学习中的正负样本所谓正样本(positive samples) ...
深度学习中正样本、负样本、简单样本、困难样本的区别（简单易懂）
目录 1. 前序 2. 名词解释 3. 举例说明 4. 参考文献 1. 前序在读论文或者看一些博客的时候,经常会出现这种名词:正样本.负样本.简单样本以及困难样本,最近自己为了加深这方面的理解,参考 ...
深度学习中正样本、负样本、困难样本、简单样本区别
正样本: 与真值对应的目标类别来说该样本为正样本. 负样本: 与真值不对应的其他所有目标类别来说该样本为负样本. 困难样本: 预测时与真值标签误差较大的样本. 简单样本: 预测时与真值标签误差较小的样 ...
一文看懂推荐系统：召回07：双塔模型——正负样本的选择，召回的目的是区分感兴趣和不感兴趣的，精排是区分感兴趣和非常感兴趣的
一文看懂推荐系统:召回07:双塔模型--正负样本的选择,召回的目的是区分感兴趣和不感兴趣的,精排是区分感兴趣和非常感兴趣的提示:最近系统性地学习推荐系统的课程.我们以小红书的场景为例,讲工业界的推荐 ...
剖析Focal Loss损失函数：消除类别不平衡+挖掘难分样本 | CSDN博文精选
作者 | 图像所浩南哥来源 | CSDN博客论文名称:< Focal Loss for Dense Object Detection > 论文下载:https://arxiv.org/ ...
深度学习难分样本挖掘（Hard Mining）
来源:深度学习这件小事本文约1500字,论文复现了一遍建议阅读5分钟本文为你介绍关于难分样本的挖掘,如何将难分样本抽取出来. 最近看了几篇文章关于难分样本的挖掘,如何将难分样本抽取出来,通过训练, ...
ECCV18 | 无监督难分样本挖掘改进目标检测
(欢迎关注"我爱计算机视觉"公众号,一个有价值有深度的公众号~) 大量训练数据有助于目标检测系统性能的提升,对于已经训练好的系统而言,有研究发现,那些被系统误分类的少量" ...
样本切分器—利用python按比例均匀切分样本
背景: 运营部要对沉默用户进行电话召回,为了探索更高效的召回方式,分别进行了下述两种测试: 1.人工拨打电话 2.AI外呼平台拨打电话 (因方式2需要提前设定机器人的话术,本次测试中设定了两套销售话术 ...
php计算格子xy,经纬度BL和直角坐标XY的正算反算 PHP代码
这篇文章主要介绍了经纬度BL和直角坐标XY的正算反算 PHP代码,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下这里是用的北京54坐标6度分带.需要用其他坐标可以修改参数$_a, $_ ...

正样本/反(负)样本/易区分样本/难区分样本

正样本/反(负)样本/易区分样本/难区分样本相关推荐

最新文章

热门文章