这是一篇发表在CVPR2020上关于Zero-shot Learning的文章。

论文的进步

①本文主要针对 fine-grained 分类
②基于attribute的dense attention，为每个attribute定位最准确的图像区域，生成 attribute feature
③使用第a个 attribute中的words的平均 GloVe representations（GloVe model trained on Wikipedia articles.）获取 attribute semantic vector；对齐 attribute feature和 attribute semantic vector，得到一个vector of attribute scores；而不是直接对齐 class semantic vector和 global features；以捕捉更加细节的信息。
④特别的，用一个attention调整attribute scores以更好捕捉各个attribute的discriminative power，使得本模型能处理好classes that are different in only a few attributes

总体框架图

具体模型

①将一张 input图像分成 R个 regions ，分别抽取特征得到 region features ，记，通过本文提出的 attention module g(.)为每个 attribute计算其 attention feature，其中αr为选取第r个的比例。即 attribute-based spatial attention模块

②含A个attributes的类别c的semantic vector 表示为 , 其中 za 指类别c中含有第a个attribute的score
③对齐上面得到的 attention features和 attribute semantic vectors ，计算图像中某attribute的存在与否。得到一个 vector of attribute scores ei，对应图片中是否出现各个attribute. 将该vector与 class semantic vector相似度最大化，计算分类到第i类中的得分 si

④上面（5）的问题，每个 attribute都对class score 有影响。fine-grained分类中大多数 attributes相同，仅个别 attributes有影响。用一个 attention over attributes调整各 attribute 贡献

⑤ 用 cross-entropy loss 最小化 model prediction 和 the ground-truth label 的距离（8）。为了解决bias towards seen classes的问题，用一个self-calibration loss调整unseen classes的probability来弥补（10）。但是（10）有个问题：训练图片一定是 seen，（10）降低了seen概率，提高unseen概率，不想要这样的效果。改进版（11）：使得训练时在unseen上的概率非0的同时使它很低

训练

总loss：

inference时候：

实验（v.s. SOTA）

求点赞

如果对你有帮助，还请点赞或留言。让我知道自己做的东西使有价值的，让我有动力隔着网线继续更新下去

Fine-Grained Generalized Zero-Shot Learning viaDense Attribute-Based Attention相关推荐

DeepLearning | Zero Shot Learning 零样本学习（扩展内容、模型、数据集）
之前写过一篇关于零样本学习的博客,当时写的比较浅.后来导师让我弄个ppt去给本科生做一个关于Zero Shot Learning 的报告,我重新总结了一下,添加了一些新的内容,讲课的效果应该还不错,这 ...
（转）Paper list of Meta Learning/ Learning to Learn/ One Shot Learning/ Lifelong Learning
Meta Learning/ Learning to Learn/ One Shot Learning/ Lifelong Learning 2018-08-03 19:16:56 本文转自:http ...
【NIPS 2020】Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for...译读笔记
论文名称 Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Dete ...
语音识别(ASR)论文优选：挑战ASR规模极限Scaling ASR Improves Zero and Few Shot Learning
声明:平时看些文章做些笔记分享出来,文章中难免存在错误的地方,还望大家海涵.搜集一些资料,方便查阅学习:http://yqli.tech/page/speech.html.语音合成领域论文列表请访问h ...
Zero shot learning
Zero shot learning 主要考察的问题是如何建立语义和视觉特征的关系(视觉特征一般用预训练好的CNN提取特征,不再进行fine-tine) 为了预测从未在训练集上出现的目标种类,仿照人的 ...
Zero Shot Learning for Code Education: Rubric Sampling with Deep Learning Inference理解
Wu M, Mosse M, Goodman N, et al. Zero Shot Learning for Code Education: Rubric Sampling with Deep Le ...
元学习之《Matching Networks for One Shot Learning》代码解读
元学习系列文章 optimization based meta-learning <Model-Agnostic Meta-Learning for Fast Adaptation of Dee ...
[GFL]Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Dete
Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection ...
论文阅读-2 | Meta-Learning with Task-Adaptive Loss Function for Few Shot Learning
论文目录 0 概述 0.1 论文题目 0.2 摘要 1 简介 2 相关的工作 3 提出的方法 3.1 前言 3.1.1 提出问题 3.1.2 模型无关元学习 Model-agnostic meta-l ...
论文笔记：Limited Data Rolling Bearing Fault Diagnosis With Few Shot Learning
论文:基于少样本学习的小样本滚动轴承故障诊断 Limited Data Rolling Bearing Fault Diagnosis With Few Shot Learning **摘要:**这篇 ...

Fine-Grained Generalized Zero-Shot Learning viaDense Attribute-Based Attention

论文的进步

总体框架图

具体模型

训练

实验（v.s. SOTA）

求点赞

Fine-Grained Generalized Zero-Shot Learning viaDense Attribute-Based Attention相关推荐

最新文章

热门文章

Fine-Grained Generalized Zero-Shot Learning viaDense Attribute-Based Attention

论文的进步

总体框架图

具体模型

训练

实验 （v.s. SOTA）

求点赞

Fine-Grained Generalized Zero-Shot Learning viaDense Attribute-Based Attention相关推荐

最新文章

热门文章

实验（v.s. SOTA）