Supervised pre-trainning有监督预训练

如我们有一个分类任务，数据库很小，这时还是需要通过预训练来避免深度模型的过拟合问题的，只不过预训练是通过在一个大的数据库上（比如imagenet），通过有监督的训练来完成的。这种有监督预训练加小的数据库上微调的模式称为Transfer learning。

R-CNN是大样本下有监督预训练 + 小样本微调的方式，解决了小样本难以训练甚至过拟合的问题。

速度：经典的目标检测算法使用滑动窗法依次判断所有可能的区域。R-CNN预先提取一系列较可能是物体的候选区域，之后仅在这些候选区域上提取特征，进行判断。

训练集：经典的目标检测算法在区域中提取人工设定的特征（Haar，HOG）。R-CNN使用两个数据库：

一个较大的识别库（ImageNet ILSVC 2012）：标定每张图片中物体的类别。一千万图像，1000类。
一个较小的检测库（PASCAL VOC 2007）：标定每张图片中，物体的类别和位置。一万图像，20类。
使用识别库进行预训练，而后用检测库调优参数。最后在检测库上评测。

转载于:https://www.cnblogs.com/pacino12134/p/11404793.html

Supervised pre-trainning有监督预训练相关推荐

CV和NLP中的无监督预训练(生成式BERT/iGPT和判别式SimCLR/SimCSE)
文 | Smarter 在之前的文章中讲过unsupervised learning主要分为生成式和判别式,那么unsupervised pretrain自然也分为生成式和判别式.目前CV和NLP都出 ...
大连理工IIAU Lab提出SSLSOD：自监督预训练的RGB-D显著性目标检测模型(AAAI 22)
作者丨Lart 编辑丨极市平台导读本文在显著性目标检测任务(SOD)中,首次引入自监督预训练.凭借提出的有效的前置任务(pretext task),在仅使用少量无标签的RGB-D数据进行预训练的情 ...
NeurIPS-21 | MGSSL: 基于官能团的分子属性预测图网络自监督预训练
本文介绍一篇来自中国科学技术大学刘淇教授课题组和腾讯量子实验室联合发表的一篇文章.该文章提出了基于官能团的分子属性预测图网络自监督预训练方法MGSSL.MGSSL结合化学领域知识,在大量无标签分子数据 ...
CVPR 2022 | CNN自监督预训练新SOTA：上交、Mila、字节联合提出具有层级结构的图像表征自学习新框架...
©作者 | 机器之心编辑部来源 | 机器之心来自上海交通大学.Mila 魁北克人工智能研究所以及字节跳动的研究者提出了一种具有层级语义结构的自监督表征学习框架,在 ImageNet 数据集上预训练 ...
超越ImageNet预训练，Meta AI提出SplitMask，小数据集也能自监督预训练
©作者 | 陈萍来源 | 机器之心大规模数据集对自监督预训练是必要的吗?Meta AI 认为,小数据集也能自监督预训练,效果还不错. 目前,计算机视觉神经网络被大量参数化:它们通常有数千万或数亿个 ...
UP-DETR：收敛更快！精度更高！华南理工微信开源无监督预训练目标检测模型...
关注公众号,发现CV技术之美 0 写在前面基于Transformer编码器-解码器结构的DETR达到了与Faster R-CNN类似的性能.受预训练Transformer在自然语言处理方面取得巨大成 ...
何恺明一作，刷新7项检测分割任务，无监督预训练完胜有监督
点击我爱计算机视觉标星,更快获取CVML新技术本文转自机器之心. 机器之心报道机器之心编辑部 Facebook AI 研究团队的何恺明等人提出了一种名为动量对比(MoCo)的无监督训练方法.在 7 ...
CVPR2021 | 用Transformers无监督预训练进行目标检测
点上方计算机视觉联盟获取更多干货仅作学术分享,不代表本公众号立场,侵权联系删除转载于:专知 AI博士笔记系列推荐周志华<机器学习>手推笔记正式开源!可打印版本附pdf下载链接通过一 ...
CVPR 2021 Oral | Transformer！UP-DETR：无监督预训练检测器
点上方计算机视觉联盟获取更多干货仅作学术分享,不代表本公众号立场,侵权联系删除转载于:作者丨飞奔的啦啦啦@知乎(已授权) 来源丨知乎编辑丨极市平台 AI博士笔记系列推荐周志华<机器学习 ...

Supervised pre-trainning有监督预训练

Supervised pre-trainning有监督预训练相关推荐

最新文章

热门文章