Dynamic Few-Shot Visual Learning without Forgetting||论文阅读

元学习论文总结||小样本学习论文总结

2017-2019年计算机视觉顶会文章收录 AAAI2017-2019 CVPR2017-2019 ECCV2018 ICCV2017-2019 ICLR2017-2019 NIPS2017-2019

文章介绍：

这篇文章和前面两篇的基本思想也非常类似，也是直接用已有的大的数据集训练，核心还是在于如何处理新task 新class的输出。

那么这篇文章的idea和上一篇其实没有本质的区别，或者说几乎就是一样的，先用training set训练出一个feature extractor，然后对于新的few shot training data，通过一个few-shot classification weight generator来生成对应的参数weight。一点具体处理的小细节就是这个weight generator还把base weight作为输入，同时计算最后的概率输出不是直接相乘，而是使用cosine similarity相似度来算（这里的根本原因是base weight和novel weight的生成方式不同，量级可能差很多，而只用cosine similarity则不需要考虑这个量级的问题），最后就是作者在使用多个few shot样本时不仅仅是简单粗暴的对feature取平均，而且使用了attention注意力机制来选择对应的base weight，效果会更好。

最后说一下整个训练过程，不是完全的端到端过程而是分两步训，这个其实和前面两篇文章也一样，先训练出feature extractor，然后再固定它，训练后面的weight generator。个人认为这样做是比较丑的，而且并不利于效果的提升。

相比上面两篇文章，整体感觉这篇文章的处理会更好一些，特别是最后使用了attention-based weight generator，比较明显可以提升效果。那么实际实验上这篇文章只使用了64类，和其他方法是公平比较的，虽然看结果比前两篇略低，但估计如果是使用80类做training结果会更好。

文章阅读https://blog.csdn.net/few_shot/article/details/90048319#Methodology_24

Dynamic Few-Shot Visual Learning without Forgetting||论文阅读相关推荐

Learning without Forgetting 论文阅读和对应代码详解
论文地址点这里一. 介绍基于终身学习思想,我们希望新任务可以分享旧任务的参数进行学习,同时不会出现灾难性遗忘.在这种场景下,需要开发一种简单有效的策略来解决各种分类任务.基于这种策略和单纯的想法, ...
Dynamic Few-Shot Visual Learning without Forgetting
摘要人类视觉系统有显著的能力去毫不费力的从零样本示例中学习新颖概念.机器学习视觉系统上模仿相同的行为是一个有趣的非常具有挑战性的研究问题,这些研究问题有许多实际的优势在真实世界视觉应用上.在这篇文章 ...
论文阅读笔记《Dynamic Few-Shot Visual Learning without Forgetting》
小样本学习&元学习经典论文整理||持续更新核心思想本文提出一种不会遗忘的动态小样本学习算法,严格来讲应该也属于基于外部记忆的小样本学习算法.本文的主体结构依旧是特征提取+分类器的组合, ...
Learn to Grow: A Continual Structure Learning Framework for Overcoming Catastrophic Forgetting论文阅读
本篇论文来自2019ICML的一篇动态架构的持续学习论文,论文地址点这里一. 介绍在学习一系列学习任务时,DNN会经历所谓的"灾难性遗忘"问题,在接受新任务训练后,它们通常会& ...
Low-Light Image and Video Enhancement Using Deep Learning: A Survey(论文阅读)
(2021_TPAMI)Low-Light Image and Video Enhancement Using Deep Learning: A Survey 本文是南开大学程明明与南洋理工大学C ...
《Reducing Word Omission Errors in Neural Machine Translation:A Contrastive Learning Approach》论文阅读笔记
Reducing Word Omission Errors in Neural Machine Translation:A Contrastive Learning Approach 基本信息研究目 ...
ReFusion: 3D Reconstruction in Dynamic Environments for RGB-D Cameras Exploiting Residuals 论文阅读
文章目录一.主要贡献二.主要流程 2.1 模型表示 2.2 位姿估计 2.3 动态(物体)检测 2.4 模型雕刻和自由空间管理 2.5 限制和处理无效的度量一.主要贡献提出了基于TSDF的sl ...
Dynamic MDETR: A Dynamic Multimodal Transformer Decoder for Visual Grounding 论文阅读笔记
Dynamic MDETR: A Dynamic Multimodal Transformer Decoder for Visual Grounding 论文阅读笔记一.Abstract 二.引言 ...
Dynamic Graph CNN for Learning on Point Clouds(DGCNN)论文阅读笔记——核心思想：EdgeConv细析
DGCNN 前言与声明因为关心的领域主要是配准,对于分类等网络的架构设计分析并没有侧重太多,主要侧重的是EdgeConv的思想. 文中图片全部来自于PointNet,PointNet++,DGCNN ...

Dynamic Few-Shot Visual Learning without Forgetting||论文阅读

Dynamic Few-Shot Visual Learning without Forgetting||论文阅读相关推荐

最新文章

热门文章