Hard samples mining

在讨论hard samples mining之前，有两个概念需要疏通下。

#1，IoU

见博文，https://blog.csdn.net/iamoldpan/article/details/78799857

简而言之，IoU就是数学集合论中的两个集合的并集。

#2，非极大值抑制

参考博文，https://www.cnblogs.com/liekkas0626/p/5219244.html

简言之，去重之后留一个有代表性的对象即可。

#3，hard samples mining

我个人认为，模型训练需要的样本，无论正负，可以从这两个方面来考虑。

其一，对loss函数影响较大的数据选择为hard samples。

比如说svm方法，在每一次的优化中，靠近那个分类超平面的样本往往是影响loss更大，选为训练样本，也能使分类超平面朝着全局最优的方向前进。

上图中，H3的hard samples mining 就是画黄色圈圈的那几个，或者至少是画黄色圈圈那几个。

又比如说，faster rcnn训练选择样本，正负样本会参考GroundTruth，正样本阈值一般是0.7（也可以自己定义）。如果大于正样本阈值的样本个数多于N（自己定义选择正样本的个数），那么配合nms来选择N个正样本；若是不足N个，那直接对所有待选正样本作用nms，选择N个送进训练即可。反之，一般负样本的阈值是0.3，其他处理与正样本方法类似。

另一，识别不好的数据选择为hard samples。

例如用false positive作为正样本，false negative作为负样本，人为的添加到模型训练的过程中，这个在级联方法中很常见。

总的来说，识别不好的，或者最大可能性识别不好的，送进模型训练的过程中才能使模型参数逐步逼近全局最优化，才是我们需要的hard samples mining得到的较好的samples。

Hard samples mining相关推荐

困难样本挖掘(Online Hard Sample Mining)
一.分类与检测分类和检测是计算机视觉里面两个非常重要的任务,虽然两个任务的目标并不完全相同,但是本质上检测是在分类问题上的一次推广,即检测是在整个个图像上做的局部分类并且标记该局部分类的位置,那么可 ...
物体检测中的困难样本挖掘(Online Hard Sample Mining)
一.分类与检测分类和检测是计算机视觉里面两个非常重要的任务,虽然两个任务的目标并不完全相同,但是本质上检测是在分类问题上的一次推广,即检测是在整个个图像上做的局部分类并且标记该局部分类的位置,那么可 ...
CVPR17论文有感：A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection
A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection 还是那个老故事,即如何解决Deep检测跟踪器训练时正样 ...
Collaborative Filter - Data Mining基础（ACM暑校）
2003年,Amazon公司的Linden.Smith.York大佬刊发了一篇名为<Item-to-Item Collaborative Filtering>的文章:这篇文章首次解释了Am ...
学习了解online hard example mining在线难例挖掘
对于每一个网络,相当于一个桶,总有样本效果比较好,有的样本比较差,多用效果差的样本进行训练,那提高了整个网络的短板,总体的效果也会有提升. 一. 难例挖掘是指,针对模型训练过程中导致损失值很大的一些样 ...
SANER 18 论文阅读- Mining stackoverflow for program repair
前言讲真的每天不看一篇论文是真的难受.至少一篇感觉,最基本保证.本文旨在阅读SANER 18 论文 - "Mining stackoverflow for program repair&q ...
（HEM/OHEM）hard negative（example）mining难例挖掘与focal loss、GHM损失函数
目录分类任务中的样本不均衡及hard negative mining的必要性 hard negative example HEM(hard example/negative mining) 与 OH ...
hard example mining(困难样本挖掘)
Hard example mining 核心思想:用分类器对样本进行分类,把其中错误分类的样本(hard negative)放入负样本集合再继续训练分类器. why hard negative? FP ...
【PR 2021】Progressive sample mining and representation learning for one-shot person re-identification
下方↓公众号后台回复"PSMA",即可获得论文电子资源. 文章目录内容概要工作概述成果概述方法详解方法特点方法框架算法描述具体实现实验结果总体评价引用格式参 ...
每周大数据论文（二）Data Mining with Big Data
日常声明:论文均来自于谷歌学术或者其他国外付费论文站,博主只是读论文,译论文,分享知识,如有侵权联系我删除,谢谢.同时希望和大家一起学习,有好的论文可以推荐给我,我翻译了放上来,也欢迎大家关注我的读论 ...

Hard samples mining

Hard samples mining相关推荐

最新文章

热门文章