文章目录

导读
细粒度应用和分类
2 细粒度的问题和挑战
- 问题
- 挑战
3 数据集
4 细粒度图像识别
- 4.1 定位分类子网络
- 4.2 端到端特征编码
- 4.3 辅助信息
5 细粒度图像检索
6 细粒度图像生成
7 细粒度图像分析相关的特定领域应用
8 未来方向
参考

导读

图像分析是CV最重要的分支之一。在CV的各个研究领域中，细粒度图像分析(FGIA)是一个长期存在的基础性问题。旷视的研究人员魏秀参等人，将FGIA分为：细粒度图像识别、细粒度图像检索、细粒度图像生成，系统地阐述了细粒度图像分析的前前后后，并探讨了细粒度图像分析的未来方向。

细粒度应用和分类

工业和科研领域的应用

工业领域：生物多样性自动监测、气候变化评估、智能零售、智能交通
科研领域：Kaggle比赛-自然保护协会渔业监测(鱼类种类分类)、座头鲸鉴定(鲸鱼身份分类)等。

细粒度方法分类

作者给出了一个图像分析的tutorial。

2 细粒度的问题和挑战

问题

细粒度图像分析的对象是某一个类别的子类，如狗、鸟、车等。粗粒度图像分析的目标对象视觉差异大，细粒度目标图像视觉差异小。所以，细粒度分析要捕获更细微的差异（例如，耳朵，鼻子，尾巴等）。

挑战

细粒度的挑战是，类间差异小（这是细粒度本质），类内差异大（如姿态、尺度、旋转，如图3所示）。

3 数据集

数据集可视化示例

数据集信息统计
CUB200-2011和Birdsnap是有属性标注的。植物和商品的数据集比较新。

标注信息举例

4 细粒度图像识别

分为三类：（1）定位分类子网络（2）端到端特征编码（3）辅助信息。其中（1）和（2）使用监督信息：标签、边界框、部位标注等。（3）使用了比较廉价的辅助信息：网络数据、文本描述等。细粒度分类的评价标准是：平均分类精度。

4.1 定位分类子网络

指导思想是：捕获细粒度目标的判别性的语义部位。此类方法包含两个部分：定位子网络和分类子网络。
定位子网络的强监督信息有部位级别的边界框、分割mask，弱监督信息就是标签。弱监督定位子网络的动机是：先找到对应的部位，然后比较他们的外观。

4.2 端到端特征编码

端到端的方法，直接学习更有判别力的特征表示。代表方式就是Bilinear CNNs，因其高模型容量，达到了显著的细粒度识别性能。但是，bilinear的特征维度太高，不利于向大数据集扩展。

针对这个问题，学者们尝试生成更低维的表示，并且保证相当的或者更高的性能。

4.3 辅助信息

网络数据
这类方法主要集中在：（1）缩小网络图像和标注图像的差异；（2）降低噪声数据的负面影响。常用的方法是对抗学习和注意力机制。另一个方向是用迁移学习，包括零样本学习和元学习。

那那那，细粒度零样本问题

多模态数据
多模态：图像、文本、知识库。高级的知识图。Learning deep representations of fine-grained visual despcriptions结合了文本和图像来，解决零样本细粒度问题。

人类参与
有人类参与的细粒度识别是一个包含机器和人类用户的迭代系统。

5 细粒度图像检索

6 细粒度图像生成

图像生成是为了解决无监督问题。

细粒度图像生成的第一个工作是2017年的CVAE-GAN，模型生成图片的输入是标签和隐含属性。最近的工作Fine-grained text to image generation with attentional generative adversarial networks，从文本描述生成图像，通过对文本描述中的相关单词的注意力引导生成高质量的细节区域。

针对商品的细粒度很有意义

7 细粒度图像分析相关的特定领域应用

不同的问题都会面临细粒度场景，比如推荐系统中的衣服/鞋子检索、电子商务平台中的时尚图片识别、智能零售中的商品识别。

人脸识别可以看做身份粒度的识别问题，行人/车辆识别也是细粒度相关的任务，以及重识别问题。

在实际中，这些问题的解决方法包括：捕获目标（人脸、行人、车辆）的判别性部位，由粗粒度-细粒度的结构信息、基于属性的模型等等。

8 未来方向

自动细粒度模型
和AutoML自动机器学习或NAS模型搜索结合，替代人工设计的架构。
细粒度小样本学习
和元学习结合，减少对监督信息的依赖。
细粒度哈希
结合哈希算法，针对大规模细粒度问题，需要更有效的检索方法。
实际场景下的细粒度分析
结合域适应，迁移学习，长尾分布，特定设备等方法和场景的不同问题。

参考

2017 survey [知乎]
「见微知著」——细粒度图像分析进展综述
2018 tutorial
Fine-Grained Image Analysis Tutorial
2019 survey [公众号]
旷视南京研究院魏秀参：细粒度图像分析综述
2019 survey [arXiv]
Deep Learning for Fine-Grained Image Analysis: A Survey
作者主页

细粒度图像分析综述2019相关推荐

[综述] 细粒度图像分析2019
文章目录导读 1 细粒度应用和分类 2 细粒度的问题和挑战问题挑战 3 数据集 4 细粒度图像识别 4.1 定位分类子网络 4.2 端到端特征编码 4.3 辅助信息 5 细粒度图像检索 6 细粒 ...
细粒度图像分析进展综述(转)
见微知著」--细粒度图像分析进大家应该都会有这样的经历:逛街时看到路人的萌犬可爱至极,可仅知是"犬"殊不知其具体品种:初春踏青,见那姹紫嫣红丛中笑,却桃杏李傻傻分不清--实际上, ...
细粒度图像分析进展综述
转自:https://zhuanlan.zhihu.com/p/24738319 大家应该都会有这样的经历:逛街时看到路人的萌犬可爱至极,可仅知是"犬"殊不知其具体品种:初春踏青, ...
深度学习细颗粒图像分析综述
深度学习细颗粒图像分析综述(图像识别) 计算机视觉(CV)是使用机器理解和分析图像的过程,这是人工智能的组成部分.在CV的各个研究领域中,细粒度图像分析(FGIA)是一个长期存在的基本问题,并且已在各 ...
细粒度图像分析论文汇总
1-1.细粒度图像分析--识别篇论文 2020 2019 2018 2017 2016 2015 参考及推荐链接个人了解有限,还需大家评论,继续补足,纯属个人狭窄知识面.每个排序同等地位,且不分先 ...
大比分领先！ACCV 2022 国际细粒度图像分析挑战赛冠军方案
写在前面在刚刚结束的 ACCV 2022 国际细粒度图像分析挑战赛中,我们团队在 133 支参赛队伍中脱颖而出,在 Leadboard-B 上以 2.5 的绝对优势取得冠军. 比赛成绩截图在比赛过 ...
国际赛事证书，220G数据集开放下载｜ACCV2022国际细粒度图像分析挑战赛开赛
ACCV 2022 国际细粒度图像分析挑战赛已式开赛,220G大型数据集同步开放下载! 大赛报名及数据集下载:http://m6z.cn/5IrWQL 大赛介绍 ACCV 2022 细粒度图像分析挑战 ...
深度学习细粒度分类综述
https://blog.csdn.net/xys430381_1/article/details/89640699#_2 一．概述 1.什么是图像细粒度分类细粒度图像分类问题是对大类下的子类进行识 ...
细粒度分析综述（Fine-grain image analysis）
细粒度分析(Fine-grain image analysis) 简介: 细粒度性质会引起的小的类间变化和大的类内变化,我们将现有的 FGIA 技术研究分为三大类:细粒度图像识别.细粒度图像检索和细粒 ...

细粒度图像分析综述2019