文章目录

导读
1 细粒度应用和分类
2 细粒度的问题和挑战
- 问题
- 挑战
3 数据集
4 细粒度图像识别
- 4.1 定位分类子网络
- 4.2 端到端特征编码
- 4.3 辅助信息
5 细粒度图像检索
6 细粒度图像生成
7 细粒度图像分析相关的特定领域应用
8 未来方向
参考

导读

图像分析是CV最重要的分支之一。在CV的各个研究领域中，细粒度图像分析(FGIA)是一个长期存在的基础性问题。旷视的研究人员魏秀参等人，将FGIA分为：细粒度图像识别、细粒度图像检索、细粒度图像生成，系统地阐述了细粒度图像分析的前前后后，并探讨了细粒度图像分析的未来方向。

1 细粒度应用和分类

工业和科研领域的应用

工业领域：生物多样性自动监测、气候变化评估、智能零售、智能交通
科研领域：Kaggle比赛-自然保护协会渔业监测(鱼类种类分类)、座头鲸鉴定(鲸鱼身份分类)等。

细粒度方法分类

作者给出了一个图像分析的tutorial。

2 细粒度的问题和挑战

问题

细粒度图像分析的对象是某一个类别的子类，如狗、鸟、车等。粗粒度图像分析的目标对象视觉差异大，细粒度目标图像视觉差异小。所以，细粒度分析要捕获更细微的差异（例如，耳朵，鼻子，尾巴等）。

挑战

细粒度的挑战是，类间差异小（这是细粒度本质），类内差异大（如姿态、尺度、旋转，如图3所示）。

3 数据集

数据集可视化示例

数据集信息统计
CUB200-2011和Birdsnap是有属性标注的。植物和商品的数据集比较新。

标注信息举例

4 细粒度图像识别

分为三类：（1）定位分类子网络（2）端到端特征编码（3）辅助信息。其中（1）和（2）使用监督信息：标签、边界框、部位标注等。（3）使用了比较廉价的辅助信息：网络数据、文本描述等。细粒度分类的评价标准是：平均分类精度。

4.1 定位分类子网络

指导思想是：捕获细粒度目标的判别性的语义部位。此类方法包含两个部分：定位子网络和分类子网络。
定位子网络的强监督信息有部位级别的边界框、分割mask，弱监督信息就是标签。弱监督定位子网络的动机是：先找到对应的部位，然后比较他们的外观。

4.2 端到端特征编码

端到端的方法，直接学习更有判别力的特征表示。代表方式就是Bilinear CNNs，因其高模型容量，达到了显著的细粒度识别性能。但是，bilinear的特征维度太高，不利于向大数据集扩展。

针对这个问题，学者们尝试生成更低维的表示，并且保证相当的或者更高的性能。

4.3 辅助信息

网络数据
这类方法主要集中在：（1）缩小网络图像和标注图像的差异；（2）降低噪声数据的负面影响。常用的方法是对抗学习和注意力机制。另一个方向是用迁移学习，包括零样本学习和元学习。

那那那，细粒度零样本问题

多模态数据
多模态：图像、文本、知识库。高级的知识图。Learning deep representations of fine-grained visual despcriptions结合了文本和图像来，解决零样本细粒度问题。

人类参与
有人类参与的细粒度识别是一个包含机器和人类用户的迭代系统。

5 细粒度图像检索

6 细粒度图像生成

图像生成是为了解决无监督问题。

细粒度图像生成的第一个工作是2017年的CVAE-GAN，模型生成图片的输入是标签和隐含属性。最近的工作Fine-grained text to image generation with attentional generative adversarial networks，从文本描述生成图像，通过对文本描述中的相关单词的注意力引导生成高质量的细节区域。

针对商品的细粒度很有意义

7 细粒度图像分析相关的特定领域应用

不同的问题都会面临细粒度场景，比如推荐系统中的衣服/鞋子检索、电子商务平台中的时尚图片识别、智能零售中的商品识别。

人脸识别可以看做身份粒度的识别问题，行人/车辆识别也是细粒度相关的任务，以及重识别问题。

在实际中，这些问题的解决方法包括：捕获目标（人脸、行人、车辆）的判别性部位，由粗粒度-细粒度的结构信息、基于属性的模型等等。

8 未来方向

自动细粒度模型
和AutoML自动机器学习或NAS模型搜索结合，替代人工设计的架构。
细粒度小样本学习
和元学习结合，减少对监督信息的依赖。
细粒度哈希
结合哈希算法，针对大规模细粒度问题，需要更有效的检索方法。
实际场景下的细粒度分析
结合域适应，迁移学习，长尾分布，特定设备等方法和场景的不同问题。

参考

2017 survey [知乎] 「见微知著」——细粒度图像分析进展综述
2018 tutorial Fine-Grained Image Analysis Tutorial
2019 survey [公众号] 旷视南京研究院魏秀参：细粒度图像分析综述
2019 survey [arXiv] Deep Learning for Fine-Grained Image Analysis: A Survey
作者主页
Awesome FGIA

[综述] 细粒度图像分析2019相关推荐

细粒度图像分析综述2019
文章目录导读细粒度应用和分类 2 细粒度的问题和挑战问题挑战 3 数据集 4 细粒度图像识别 4.1 定位分类子网络 4.2 端到端特征编码 4.3 辅助信息 5 细粒度图像检索 6 细粒度图 ...
细粒度图像分析进展综述(转)
见微知著」--细粒度图像分析进大家应该都会有这样的经历:逛街时看到路人的萌犬可爱至极,可仅知是"犬"殊不知其具体品种:初春踏青,见那姹紫嫣红丛中笑,却桃杏李傻傻分不清--实际上, ...
细粒度图像分析进展综述
转自:https://zhuanlan.zhihu.com/p/24738319 大家应该都会有这样的经历:逛街时看到路人的萌犬可爱至极,可仅知是"犬"殊不知其具体品种:初春踏青, ...
细粒度图像分析论文汇总
1-1.细粒度图像分析--识别篇论文 2020 2019 2018 2017 2016 2015 参考及推荐链接个人了解有限,还需大家评论,继续补足,纯属个人狭窄知识面.每个排序同等地位,且不分先 ...
大比分领先！ACCV 2022 国际细粒度图像分析挑战赛冠军方案
写在前面在刚刚结束的 ACCV 2022 国际细粒度图像分析挑战赛中,我们团队在 133 支参赛队伍中脱颖而出,在 Leadboard-B 上以 2.5 的绝对优势取得冠军. 比赛成绩截图在比赛过 ...
国际赛事证书，220G数据集开放下载｜ACCV2022国际细粒度图像分析挑战赛开赛
ACCV 2022 国际细粒度图像分析挑战赛已式开赛,220G大型数据集同步开放下载! 大赛报名及数据集下载:http://m6z.cn/5IrWQL 大赛介绍 ACCV 2022 细粒度图像分析挑战 ...
有关细粒度图像分析（Fine-Grained Image Analysis）
有别于通用图像分析(General/Generic Images)任务,细粒度图像分析(Fine-Grained Image Analysis)任务的所属类别和粒度更为精细,它不仅能在更细分的类别下对 ...
USTC中科大数字图像分析2019年考题回忆
博客1--USTC中科大数字图像分析2019年考题回忆先来一段废话考试重点(听课重点关注) 考点覆盖(本博客的核心来了) 1,考数字弦的判定 2,考连通悖论 3,考掩模(其实就是算子) 4,考Ca ...
（转）双线性汇合(bilinear pooling)在细粒度图像分析及其他领域的进展综述
本博文转载自:https://www.itcodemonkey.com/article/11427.html 细粒度图像分类旨在同一大类图像的确切子类.由于不同子类之间的视觉差异很小,而且容易受姿势. ...

[综述] 细粒度图像分析2019